我是卖方，我和买方签了买卖房屋合同，当时中介说一年下房本，但是房本起码得三四年下来 我是卖方，我和买方签了买卖房屋合同，当时中介说一年下房本，但是房本起码得三四年下来，买家付了我一部分首付，就住进去了，而我现在还还着房贷，如果还三四年房贷我觉得我利息受到损失，现在跟买家协商，买家不同意，我该怎么办？合同规定违约方付房款的百分之五十，还有房屋差价归于损失方，我如果违约得赔买方很多钱，不违约的话，我也会损失利益，我该怎么办啊？