应该归男方，返还女方借款即可。

土地视为父母对男方的单独赠予，所以归男方所有，婚后房产视为父母对双方的共同赠予，所以归双方共有，所以房子为双方共有，土地为男方自有，但是根据房地一体的原则，从实务角度，男方拥有土地和房子比较好一些，当然前提是男方要补房子差价给女方。