我是个外地来做上门女婿的现在发生了房屋土地纠纷。我家的房子是我媳妇还没生就建 我是个外地来做上门女婿的现在发生了房屋土地纠纷。我家的房子是我媳妇还没生就建，当时房子占用了她二爷爷家的一点，二爷来已同恴，建房右下方原了是二爷家的，后来因鸡二爷家说换给我家就换了，现在二爷来又来这边建房，说没路走，找到我家，二爷家又请了当时的村干部来，达成了打协议他家用山地和我家换原了我家的和原和他家换的一部分，还写了协议，他家的修了路，我的因没钱只做了一半围墙，另一半现在想围，而他家就不给围，我叫了村干部和当时参与者到，人家都说二爷家只要我不挖到他家的就行，可他家不同恴，又说到要还回二爷家原了的包扩房子所占，村干部们没法，说他家不讲理，都走了。我现在该怎么办。