邻居以前修房强占了我家的住宅面积，并且修来挨着我家的墙不足一米中间还挖了一条阳沟与我家隔开的 邻居以前修房强占了我家的住宅面积，并且修来挨着我家的墙不足一米中间还挖了一条阳沟与我家隔开的，导致过路有点窄，他家从过道里挑粪出来都是巴着我家墙走的；现在我家要重新修房，邻居要我家退出面积使那个过道宽敞些，否则就是妨碍他家过路挑粪出来不方便，可是我家并没有侵占他家任何面积，那个过道是他家以前用我们的面积做的，我们现在不同意退让面积，他家又要强行不准我们修房子，请问他家有权利这样干涉我们吗？