我家在广东茂名南海镇附近一个农村，2001年家人在爷爷留的地中建房子 我家在广东茂名南海镇附近一个农村，2001年家人在爷爷留的地中建房子，遭到后面邻居阻止，不让建，必须留出2米宽土地，等于给条路他们走（不是唯一的通道），当时家人就没在西侧两米宽地建房子。通道加上我家的地有2.3米。
现在因当时没建围墙，西侧墙体常年遭到损害，窗户也遭受打碎，家人打算在之前未建那两米宽的土地用75公分做围墙保护起自己的房屋财产，但遭到后面村民的阻止。经村委协商不成（村委和村长和后面邻居有关系，偏帮他们），请问律师大人，我家应如何处理这种情况？（我家无土地确权任何证明），感谢您帮忙！