要看当时你购买房屋的时候，产权状况如何。如果产权证上仅标明该女士所有，又没有证据证明你当时明知该房屋为他们夫妻共有，且你已经办理了房屋转移手续，即将房屋落户到你名下，那么，男方起诉交易无效是不能得到支持的。

如果房产证上未标明共有，你的购买行为属于善意取得，是有效的。

如果购买时房产证上只有一个人的名字你构成善意取得，购买行为有效

房产是否已过户，如未过户你可主张返还购房款和损失

如果你不知情 并且已经办理了过户的手续，那么买卖是有效的；如果没有办理过户，那么买卖无效，对方要返还你放款的