如果你们的纠纷是经村委会人民调解委员作出的人民调解协议，你可以直接以履行人民调解协议纠纷向法院起诉，如果不是人民调解委员会作出的你可以以侵权纠纷向法院起诉解决，特别要提醒你的是你不能擅自去破坏建设物，我国法律并没有附与公民私力救济权。

继续找一下村委会、镇上国土所协商调解。可适当有限度地阻止继续施工，但不要给其推倒毁坏。若起诉到法院，费时费力很麻烦。