当着政府的面做的口头协议能生效吗？ 我老家要在一块有废弃猪圈的空闲地上起房子，这块在解放前是属于我们家的土地。但后面经邻居请求，我们家答应他们在上面起猪圈。
    现在我们家想起房子就要求他把猪圈拆掉，我们另外在附近找地方给他起猪圈，前面一段时间他是答应了，于是我们就找好地理先生找
好日子准备建房
    但是不知道为什么现在临近建房的日子了他改变注意了，说这块地现在属于共产党的，他有权拥有这块地。
后面我们只能找政府的土地管理部门来协调。那天政府也划好给我们建房子的地块（但是还没来得及办证），他当着政府的面答应我们拆掉猪圈，
条件是我们在附近找地方给他做猪圈。。现在他又反悔了，政府来协调他也不答应了。我们该怎么办