可以拒绝

没有房子，只能保留原处。

你有了住房才可以迁出

你没办法办迁出手续，买房人就不能迁入，除非你有了新的住所。目前你可以拒绝买房人的要求。