我们村由于拆迁搬走了很多人，剩下的好几户人家都在扩建房子，还有好几户是之前已经扩建了的 我们村由于拆迁搬走了很多人，剩下的好几户人家都在扩建房子，还有好几户是之前已经扩建了的，但是最近规划局的来了，让我们和另一家两家人将扩建的房子拆了，但是他只让我们两家拆，其他的所有人家不管是正在建的、还是建好的他们都不管，只拆我们两家，这个要怎么办呢？