以前和亲戚交换过一块土地，我家土地盖房子地理位置比较好他说想盖房子就让给他盖了 以前和亲戚交换过一块土地，我家土地盖房子地理位置比较好他说想盖房子就让给他盖了，他们就给我们换了他家一块地，可是现在非要回他们的土地说给他们儿子盖房子，但是现在他们那块土地我们是种着菜不想给他们，他们就不愿意了，因为这样还吵过几架，我们就说如果你们非要回这块地那么你们的房子占着我们的地是不是要还给我们，他们确说现在给你们房子你们敢要么？我们该怎么办