宅基地问题，农村自建房，邻居先盖我们后盖，现在他说我们院里有他家的地方，当时盖房子他说他们时没有盖到

宅基地问题，农村自建房，邻居先盖我们后盖，现在他说我们院里有他家的地方，当时盖房子他说他们时没有盖到边，现在要从我们院里，再把他说的他们家的地方给盖到他们家，这个宅子当时是有记号的，就是在两家院子中间的地下有当时埋的白灰做的记号，现在他们也没有找到记号，就非得在我们院子里盖墙头。他这么做有什么不对？我该怎样维权？如果他找不到记号非要盖，我该怎么办？谢谢解答！