我们家修房子占用了别人的土，当初是他自己主动找我们换的土地，说是让我们房子修宽点 我们家修房子占用了别人的土，当初是他自己主动找我们换的土地，说是让我们房子修宽点，我们都交换土地10年了，现在他说我们那土地不好了，要求我们还他土地，但是我们已经修了房子了，土地房产好证也办好了，我该怎么办