我家的承包地和别人家的口粮田一直换着种，今年承包田都统一收回了，所以人家要回自己的口粮田，我家里去年

我家的承包地和别人家的口粮田一直换着种，今年承包田都统一收回了，所以人家要回自己的口粮田，我家里去年把这块口粮田包给了另一户了，另一户今年春天种上了果树，现在人家要这块地，种果树的这一户现在让我家给赔偿，我算了算他的果树苗 水 肥 不超过1000块钱，但是他却要我们赔好几万，要说明的是 种果树没和我们打招呼，不知道的情况下他种上了果树，他也知道这块地不是我家的，现在这个事怎么解决呢？希望给为大神们给支招，万分感谢！