村里分给个人的菜园地，面积较大。十年前亲戚死缠烂打的非要在我们的地里建房子 村里分给个人的菜园地，面积较大。十年前亲戚死缠烂打的非要在我们的地里建房子。拗不过，只能答应他盖建，但土地仍然属于我们。只是允许他用。其他的没有约定。现在我们要收回土地，他不给。所建房屋依然在我们的土地上。
请问这样的纠纷如何解决。