我在2003年买了一套公产房，现以改私产，有房产证，没土地证。 问题是：卖给我房子的是离婚的，女方卖的，合同写的是甲方代理人。现在男方来找我，说他不知道卖房子。他要要回房子，请问：在法律上可以吗。