你好！
   当时进行土地互换应该签订有协议，土地使用权是否变更，根据法律规定，无论你们之间的互换土地是否变更土地使用权证，该土地都归你承包使用，对方圈占你的承包地，已经构成侵权行为，你可以进行自力救济，将圈地设施拆除，然后申请农业土地管理部门进行解决。

耕地不允许建房。协商不成举报。

对方建房用地是否通过审批？根据你反映的情况，从法律角度分析，对方的行为违法。你可以向当地的土地主管部门举报。