棚户改造盖楼砌护坡打洞，没人给我家打着乎就吧洞打进我家院子房子地基下面，我们不让打，才来人协商两次没

棚户改造盖楼砌护坡打洞，没人给我家打着乎就吧洞打进我家院子房子地基下面，我们不让打，才来人协商两次没协商好，就在没打洞，今天又来打洞我们说没协商好不要打，他们就打伤我们继续打洞，我们找有关部门要求停工，他们都说是政府工程谁也管不了村上也这样说，四五天过去了洞打好了，村上，乡镇府，吧棚户领导叫来，他们说给我家写个协商，房子在工程期间有什么问题，建定后给我家修复，我们就同意了，没想到过了一星期，他们写来的是我们误了他们三个多月的工期他们保留意见还要起诉我们，天哪政府怎么会这样做，请问老师我们农民现在怎么办呢，我们起诉人家是政府怎么办