这种情况，如果他承认换地，那么你可以要求给原来换给你的地。如果他不承认，那么他属于侵占土地的行为，你可以要求他拆除房屋、返还土地并赔偿损失。从你说的情况看，总得来讲，你这边占理，你如果不能协商，那么可以通过法律途径处理。