邻居侵占我家的宅基地2米盖了一个厕所，现在盖房子需要拆除，对方态度强横 此前地基大，盖的房子小，十几年没在家里住，只是偶尔回去住，现在房子已经老旧，已经推倒，打算重建，到村大队索要当时宅基地的分配数据，数据显示宅基地比房子大，向北延伸了两米，向东延伸1.7米，北边有个邻居在这两米范围内盖了一个厕所，便要求邻居拆除，现在北边的邻居和东边的邻居因为是一伙的，联合公然拒绝我们的要求，我们找了村大队要原始测量数据，确定数据无误，且由村大队进行了调解，这两家还是拒绝拆除，并以东邻居为首，以村里的官职身份威胁村大队的人，村大队把事情报告给了乡里，但是乡里以这两家态度强横为由，没有来此调解。目前这事情应该如何处理？