在四年前我家在承包的土地上建了鸭棚，后来村里收回土地在划分给村民 在四年前我家在承包的土地上建了鸭棚，后来村里收回土地在划分给村民，我家的鸭棚划在了别人家的土地上，我们口头协议用别的地方土地跟他交换，后来产生了矛盾，他要要回他的土地（我家鸭棚所在地），我该怎么办？打官司会赢吗