我和他在1998年同居，2001年生下一女，2003年因感情不合分开，后来他又和别的女人生下一女，现 我和他在1998年同居，2001年生下一女，2003年因感情不合分开，后来他又和别的女人生下一女，现在我带我的女儿，他每月给2000元，后来我做生意赚了几万块钱，在小镇上买了房子，他现在已我们当时为签订协议为由要我把房子给他，并威胁不让我和别人结婚，我该怎么办？我现在湖北，他在广东。