我在八年前田地与别人对换要建房，房没建但围墙有围，当时都是口头协议，现在别人想要回去，我该咋办。 我在八年前田地与别人对换要建房，房没建但围墙有围，当时都是口头协议，现在别人想要回去，我该咋办。