我家前门和邻居家的后门有一个共同的街道，十多年前和我爷爷和邻 我家前门和邻居家的后门有一个共同的街道，十多年前和我爷爷和邻居家的男主人口头协商后我家给圈到了我家里，现在双方的长辈都去世了，可邻居家的儿子想让我家把围墙给扒了，十多年我家都这样过了，请问我该不该扒围墙？