今年我家盖房子，换地盖的，一开始那一家不换地，后来，又和那一家地临边的那一家换了 今年我家盖房子，换地盖的，一开始那一家不换地，后来，又和那一家地临边的那一家换了，现在我家的房子盖好了，这几天，一开始不愿意换地的那家人非要我家再换他家地，我家不要换了，他就说要找人找关系，把我家房子给扒了，请你们在法律上给我解释一下，