房屋纠纷！ 我家16年前，向我们那同村的人手上买了一套房子，当时说好以17000的价格买给我。当时和他那套房子周边的一些果树一同，分四年付清。后面把房款付清了。当时还立了字据，还有中间人也签了字，很面他也把他那套房子的，房产证也给了我们，因为当时他要赶着外出，也就没有及时的去办理过户手续。后面也就一直拖着，没有去办过户，直到我们那土地征用，他就想把房子拿回去，就是现在房子还在他的名下，我想问是在这种情况下，他能不能把房子拿回去，我应该怎么做？