土地纠纷 事情经过是：我家是农村的，大概20年前我开垦了一块荒地，（有人能证明那块地是我开垦的）用于种地，后来出去外面打工，就暂时没种，后来我弟弟要做房子，他见我那块荒地地段好，就打电话和我讲想在我那块荒地上建房，（我当时在外面打工，没在老家）他拿另外的一块土地和我换，（他那块土地也是我那块地的边上，因为我的土地靠近马路，适合建房，他的土地离马路远，中间隔着我的土地）我当时同意和他换，想着是兄弟，又加上我人在外地，就没有签书面协议，双方就口头同意了，后来弟弟在我的土地上面建好了房子，本来没有什么事，但现在我要用他换过来的土地，他竟然不同意，说那是他的，连他现在建房子的土地也是他的，和我没有关系。那等于就是我白白的亏了一块土地，为了这件事都打了好几次，也没什么结果，我想咨询下律师，我能要回我的土地吗？我该怎么办？