二十年我家跟另外一家对换了一块土地，但这是1992年前的事。前两三年我家在这块地上建了房 二十年我家跟另外一家对换了一块土地，但这是1992年前的事。前两三年我家在这块地上建了房，现在另外那家人想要跟我家换块地，但我家不想换，那家人就威胁说不换的话就要在我家建了房子的空地上建个房。我想问问二十年前我家换的地有法律依据吗？如果那家人真来我家房子旁的空地建房怎办？