我的前邻建房子把我走的小巷占用了，当时我们协议中规定把前邻新建房后一点地方归集体 我的前邻建房子把我走的小巷占用了，当时我们协议中规定把前邻新建房后一点地方归集体，2004年我在他房后建大门时他们把我砌的砖墙推倒，说我占了他的地方。现在农村改造厕所他们又把我们挖的土坑填平了，我应该以什么理由到法院起诉他。