您好，我家在农村八月份要建新房子，由于自己家的土地不够，就跟旁边的邻居进行更换 您好，我家在农村八月份要建新房子，由于自己家的土地不够，就跟旁边的邻居进行更换。旁边土地有A的也有B的，A是B的侄子，他的土地多年前就交给B种植管理。所以在更换时，B说两个人的土地他都能做主，与他商量更换就行了，当时还给我们立下字据，如有问题他来承担。结果现在我们家的房子已经建好一层了，A突然说他不同意更换，要求我们把房子拆掉。请问现在我们应该如何保障自己的权益？