购房合同无效，卖方未按协议约定退款 卖方在2010年底至2011年初通过民事诉讼，要求购房合同无效、买方立刻归还房屋，得到了法院的支持，判决买方一个月内归还房屋，但是考虑到，卖方暂时无力全额退款，而买房也要另行购买房屋，因此另立协议，明确了退款的总额，以及退房、退款的时间。现买方已经按协议要求搬离房屋，可是卖方表示只能退还部分房款，剩余部分可能。买方由于新购房屋急需用钱，应如何维权，是否需要先按协议归还房屋？剩余的房款如何追回。（买卖双方初步谈判破裂，卖方表示若房屋不按时归还，连部分的退款也不打算支付）