土地（农田）破坏一定就是非法占用农田吗 专家好！
咨询问题如下，请给位专家帮忙解答：
背景：
1. 大概10年前，我家与本村生产委员会两方签了一份合同，合同上有村长及村生产委员盖的章。合同大概内容就是我家无限期租用村里大概20亩地，每年向村里交一定量的租金。只有经营权，没有所有权。如村委有要收回该地，需要赔偿我方在该地块所投资的费用。
2. 几年前，因为经营不善，该地块一直都荒废着，所以最近5年的租金都没有及时向村委交清，目前还欠着。
3. 今年有开发商过来洽谈，大概意思就是开发商在开采石矿，需要向我方租借一地块，租期三年，用以做仓库用（存放石块），所以把原来是农田的地方填平用以堆放石块。
4. 现在有人反映说我们非法占用农田，请帮忙解答下这样的情况属于非法占用农田吗？我的疑问是既然现在这些农田交由我们经营，我们应该就有权利去改造这些农田，不管是用来堆放石块或其它的。或者说到时村委要收回该地，我们把它还原成农田不就可以了吗？
5. 现在去村子补交这几年欠的租金，村委不收，这样我们需要负责任吗？（合同没有规定如果逾期没有交租金的话，合同会自行废除等条款）。