农村换地后土地纠纷问题 2010年与同村村民唐某互换田地。我家换得的田地属于可做宅基地使用的。当初换田之时，本村村长，书记，镇里干部都在场，丈量田地面积时候请唐某及村镇干部吃饭洗脚等。。由于同为村民且为亲戚关系加之有村镇干部作为人证的缘故，没有立下换田文本字据，仅有口头协定和村镇干部为证。2013年初，唐某突然返回要收回原互换的地基，而且未与我家任何人协商就带人填土垫高地基。我家出面阻拦时，他家人恶语相向，否认换地一说，耍无赖要求出具换地证明。否则该地不承认为我家所有。但当时我家要求立字据时唐某说为本村人又是亲戚。加之本村换地之事相当普遍，都没有用字据约束，所以当时仅是口头协定。由村镇干部拍板换地丈量。
    我想请问下，此协议虽为口头协议。但是在村镇干部等政府工作人员的见证下所为，协议是否有效？有效的话，唐某未与我家任何人上梁的情况下动土施工是否属于强占行为？我该如何行驶我的权益？
    他们家目前就是采取强硬耍赖霸占的态度。村干部调解时候。就一口咬定没有换田地一说。且在村里到处诋毁我家人，说谁让我们家那么傻，田地换了三年了，不知道填土建房，既然没有建房，土地就是他家的。随时可以拿回，不需要跟他家讲。他家算条卵（此为唐某家人对村民的原话，有人为证）。
    我想请问律师朋友。这种情况我该怎么处理。应该走怎么样的一个流程？如果需要诉至法律的话，我想了解下具体情况。麻烦律师朋友费心帮我分析分析。。感谢！！！