我是农村的，我家盖房子的地是和村里人换的地，邻居也是和同一个人换的地，两块地之间有一个土坡被包在两户

我是农村的，我家盖房子的地是和村里人换的地，邻居也是和同一个人换的地，两块地之间有一个土坡被包在两户之间，98年的时候我们家在土坡东侧围了围墙，围墙外边盖了一个开敞车库，邻居03年左右在土坡西侧盖了车库和一间小房没有围墙。前几天我们两家把土坡的土清了，我们家想按原来我父亲和邻居口头定的把我们这边的车库围起围墙做个小院，邻居第一天说让我们把围墙往南动一米我们说可以，后来我们就拉砖准备了，结果第二天邻居阻止我们动工说让我们把车库拆一半(好和他们家北屋东墙对齐)并且不承认和我爸做过约定。我爸刚去世两个月，当时这事我妈他们都是知道的但是没有做过书面约定。土坡原来不属于两家请问我们该怎么办呢？