我家前几年盖房子，邻居以房屋会影响庄稼为由，三番五次找村支书非得跟我们换块地，现在我家又要翻修房屋， 我家前几年盖房子，邻居以房屋会影响庄稼为由，三番五次找村支书非得跟我们换块地，现在我家又要翻修房屋，他又突然说地不换了，说地还是他的，只要东西掉他地里他就骂，当时也没签合同，只有村支书和一位见证人在场。现在房子盖到一半没法盖了。现在地换了有4年了，我想问一下这算不算既成事实？如果走法律程序他要走的可能性有多大？（房屋不在具有争议的这块地上，紧挨房屋，如果给他了，我有足够的理由相信会对我的房屋不利）。