若双方有协议，按照协议处理；没有协议双方可以就果树，以适当的价格转让给你，对方搬走。

关键要看你们当初是如何约定的。可以当面看看你们之间的合同，根据合同约定情况，看如何处理合适。