我家为了建房和种地需求和别人交换了土地，交换之前他家把地租给别人种树 我家为了建房和种地需求和别人交换了土地，交换之前他家把地租给别人种树，现在我们换了之后，让之前的人移树人家不肯，咋办，，之前种树的人家和我换的人家什么协议也没有，也不是承包，就是一年下来给点钱就好啦，现在换了之后可以让之前种树的强制移树吗