土地纠纷 20年前，我爷爷和邻居商量两家建房子的时候互相使用对方一点土地（因为房子的方向与土地方向有所偏差），现在邻居家想要盖新房子，故要求我们家把房子拆了归还给他那一部分土地，他也把占我们的土地换给我们，可是我们家的房子已经存在多年了，所以不同意。请问怎么办