可以收回，但是最好协商。

可以收回

可以收回出租的林地

双方已形成事实上的租赁合同关系,相信你们肯定就租赁期限作出约定,建议按约定继续履行.你们单方解除合同,属于违约,应赔偿对方因此造成的经济损失.

属于不定期租赁，可随时解除

可以收回，但是你需要给对方种植的桃树做经济补偿，同时赔偿对方因此造成的直接经济损失。
建议协商解决,协商不成可以起诉,也可以委托律师代为诉讼。
如果有需要可以来电免费咨询，根据案情细节做出更准确解答。