我家是1985年造的房子，是我爸的自留地建房，后因邻居差一角 我家是1985年造的房子，是我爸的自留地建房，后因邻居差一角，口头协议换一些自留地给他家造房，现在邻居父母老了，媳妇老挑事，我家屋旁的围墙搞事，根本不承认了这个换地的事，换给我家的地也不承认，因为换来的地一直空着，太远，我们没去种过。我该怎么维权