与隔壁邻居有一面墙共用，邻居先建了四层楼，我们加盖第四层的时候邻居阻止我们用共墙，施工一半停了下来， 我们家隔壁邻居是村官，今年都在加盖楼层，他们先建好了四层楼，我们只建好了三层，这个月在加盖第四层的时候动工时吵到邻居，邻居便百般阻挠我们继续施工。理由就是我们在共墙打洞浇筑钢筋会伤害他们的房子，但是建筑工人确认过我们必需在共墙上浇筑钢筋进去才能承载墙体。隔壁以自己家是村官的势力威胁工人停工，现在年过六旬老父亲上门诚心想协商解决问题，但被邻居一家人辱骂和攻击，身心受到极大摧残，每天茶饭不思。反映到村委上面，村委也是睁一只眼闭一只眼，请问要如何维护我们的相邻权和人身权利？