2007年的村民张某将87平米的两层房子和旁边一个砖瓦房转让给我，我办有房产证和集体土地证。砖瓦房没

2007年的村民张某将87平米的两层房子和旁边一个砖瓦房转让给我，我办有房产证和集体土地证。砖瓦房没有土地证，就以三分地互换的形式交换签的协议，两队队长同意签字，村委会同意盖章，法律服务部见证。今年把房子拆了翻新扩建，规划部门批了建设许可证建筑面积150平米。有村民来闹地，说我用了他们的地。请问我怎么处理这事。