农村邻里之间换地事情 我父亲与邻居于2003年签订一份协议，用我家的已拆掉的部份老房地与他家厕所地进行交换，用于给他们家扩建新房地使用，由于当时农村只有一个厕所，而且考虑当时他们家才刚建，就没有要求他们马上拆掉，但是协议上有注明房子建好（2004年建完）之后就拆，可是他们家一直使用到现在，每次同他们说就找各种理由拒绝，而且也吵过很多次，并且差点打架。找村委他们就说让我们自己处理，而且当时的那些村委的中间人现在都死了。请问现在他们不按照合同履行我该如何要回这块地？而且说我家的外围墙占用公用地，这个与我们的合同有关系吗？如果打官司这个会受影响吗？