我家在农村，大约五年之前，一户人家主动要求与我家交换土地。以前我家的地坝在面向房子的左侧 我家在农村，大约五年之前，一户人家主动要求与我家交换土地。以前我家的地坝在面向房子的左侧，他家土地在我家房前。交换土地之后，他打了我家地坝并修了一栋房子，我家则在所交换的田中另外修了一个地坝。时隔多年，他家的房子并没有人居住，想要废弃（只是我的猜测），加上我家与他家又有一些矛盾。他家就找到我家说他不要换土地了，他要收回他的田（就是我家现在的地坝）。这对我家并不公平，主动权全在他家身上。现在，如果我家坚持不换的话，我家是有道理的吗？