我家承包的责任田，旁边邻居在他家地里盖起了房子和院子，很大， 我家承包的责任田，旁边邻居在他家地里盖起了房子和院子，很大，导致我家种的粮食靠墙的一半干透另外一半不成熟。找过村里和乡里，都互相推责任，没有人愿意管。我应该怎么办？