农村自拆自建房 我们家一家四口人，住房面积48平米（3.7米X12.9米).东西南北都有邻居而且墙靠的很近,北边邻居墙壁和我们墙壁的距离是37CM,他家四间五层楼房,造房时没和我们签过四邻协议.南边邻居和我们共用一堵墙,现他们家要自拆自建造四层半,我们家想和他们一起建,其他邻居都同意,就北边两家不同意,我该怎么办