我家在农村，和我们邻居因为当初他们家砌大门地方不够，和我家换了一墙的地方 我家在农村，和我们邻居因为当初他们家砌大门地方不够，和我家换了一墙的地方，把当街开荒地给我们两根垄，我们把墙往我们这边砌墙时因为是石头的最低层有几块出去点，已经好几年了，前些日子我家翻新上边院墙时，他们家提出要我家把下面的都拆了和他们家门墩取直，我不同意他们家就说我家砌墙占他们家的地了。我想咨询一下我还有权利不和他们家换了，要回属于我的地方吗