离婚纠纷 他和他前妻协议离婚了，协议简单签了一下【一处正还着房贷的楼房给10岁儿子将来结婚用，儿子抚养权在他前妻身上，17的女儿归他抚养】完事之后口头协议互不拿抚养费，完事之后她带着儿子搬出了楼房，女儿和她和爷爷在楼房里住，他在外上班，冬天她趁着他不在家那儿子在外冷为借口回到楼上，一住就不走了，后来知道我俩要结婚了，他更不走了，一次次协商后同意了又反悔，同意了又反悔了，我俩该怎么办