我们家有块土地因为太小就和隔壁邻居换了稍微大点的地方额外补助了他钱 我们家有块土地因为太小就和隔壁邻居换了稍微大点的地方额外补助了他钱，还签了协议，现在他反过来不承认有我们家的地，还告我们家协议不生效属于买卖土地，可是他们家现在这块地土地全是买的用来建房，现在法院判我们家协议无效，属于买卖土地，却没有追究他们家也是买了很多人的地盖的房子，这合理吗？