我与本村，村民，互换自留地，可是不是一个组里他是七组我是三组 我与本村，村民，互换自留地，可是不是一个组里他是七组我是三组，当时换地到现在已经二三十年当吋说换地种没有说别的，可是现在他不经我同意私自给别人违法建房。这样我能要回我的原有自留地吗？