协商不成到法院起诉。

可以先经居委会或村委会调解，调解不成就可以向法院起诉。对方属于侵权，可以要求其恢复原状、赔偿损失。