这样的协议是否有效？ 2011年我家跟大伯家签了一份协议，我家是北房，大伯家是东房，大伯家的哥哥要结婚觉得自家房子不够住，就想把当初分家留给他家的院子盖成房（东房南边的部分向西盖到院子中心）。全院的大门口在南边，他这样盖房后我家就没法进出了，他提出写一份协议，把北面剩下的院子给我家作为补偿（这部分院子分家的时候是他家的），让我家在西墙北侧靠近我家北房的地方另外开个门口进出。但是事过多年后他反悔了不承认这份协议书的内容了，请问我该怎么办？
协议书内容：1、双方协议王雪峰（大伯的儿子）东房南边二间往前接
               出至王靖（老爷家的叔叔）西房地基间隔1米。
            2、东房北边一间及后边火道归王雪峰使用。
            3、接出房北墙以北所有权归王军（我父亲），留出雨水
               通道，北院以东西二间滴水为界归王军。
            双方签字：王雪峰  王军
            证明人：王栋（二伯）
我大伯是聋哑人，当时大家协商就由他儿子王雪峰代替签署这份协议，我大伯没有在上面签字。我二伯作为证明人并书写的协议内容。因为是至亲当时关系也相处的很好，写协议的时候也没有咨询相关部门是否具有法律效应。
现在大伯的儿子反悔了，不承认这份协议了，说房子是我大伯的，大伯没有在上面签字就是无效的！不但要占用院子还要在院子里单独开个门口方便他们进出。我们找了我二伯和村委会，他们不同意协商。
请问我们现在该怎么办？这份协议是否有效？