关于土地所有权的 我家门口的那块地是爷爷在世的时候用另外一块田地和同村人调换来的，曾经已经是默认许可了的，因为当年两家关系好就没有立下字据，如今我家要在门口那块地上盖房子，那家人为了敲诈些钱，就不承认换土地这一事实，不准许我们盖，说只是让我们使用不让我们盖房子，可是他早不来说，晚不来说，偏偏等到我家房子盖到一半才来说，请问，该怎么办？谢谢