如果已经村委会同意的承包地互换，村委会同意后发生法律效力。对方在互换的承包地建房，是否违法与原承包人无关，不可收回。如果没有经过村委会的互换，可以主张收回。