如果不影响，不用理他们。对方强行阻挡的，可报警或向法院起诉要求排除妨碍。

一般建房要履行一系列的规划、报建手续，否则属于违章建筑，如果是你私自加建房屋，邻居可以向主管部门举报要求你拆除，建议你与邻居协商为主，如协商不成，可以按实际情况起诉。