我原为甲村委A村小组成员，后搬迁至甲村委B村民小组落户、生活至今已近四十年 我原为甲村委A村小组成员，后搬迁至甲村委B村民小组落户、生活至今已近四十年，我在A村生活的时候开垦荒地种下树木至今已四十余年，如今A村个别村民毁坏了我的林木，并以我已不是A村小组成员要求收回我经营管理四十几年的林地以及收回我耕种了四十几年的两块耕地（耕地来源：我在A村的时候为村集体做过很多贡献，在我搬迁去B村之前经村民及村长同意，将两块离B村很近的耕地给我耕种、使用）。这种情况下，我能拒绝收回吗？有没有法律手段可以保障我的权益呢？ 
补充：耕地未签承包协议。林地未签承包协议（本地默认的一种形式：个人开荒的土地均无承包协议，土地默认归开荒者使用）