我们这修路，占到我家的地了，这地是以前那人跟我们换的，因为他要盖房子 我们这修路，占到我家的地了，这地是以前那人跟我们换的，因为他要盖房子，我们一开始允许他盖一个屋座，结果他盖了一个房子，我们那时让他拆，他不，现在占地了，他又要要回地，说把房子拆了，要地不要房子了，我该怎么办？