农村盖房，影响采光半路被阻 求高人解答，农村盖房事情
家里邻居都盖房子了，唯独我家后面没有盖，他们家的围墙和我家后面距离2米多点左右围墙里面是空地跟他家房子有5米左右，现在我家房子盖到3楼了，打算盖4楼的现在材料都到了，可是他们说影响他们家采光问题，不肯签字，提出大量无理要求，我们被搞只能停工，村委会都调节过，还是不能解决，请问我们应该怎么办，