我想咨询下农村的土地纠纷，就是我家2002年盖房时候由于只是在我家田四周用石头做好石基 我想咨询下农村的土地纠纷，就是我家2002年盖房时候由于只是在我家田四周用石头做好石基，而没有围起来。2014年的时候旁边的邻居盖房就盖了过来我家的石基上。当时他在电话里是说是我家的他一点也不会要。现在我家想在我们的石基上盖围墙，他就反悔了说是他的地，你盖围墙他就拆了。现在该怎么办？