几年前隔壁买了我家四间瓦房，也没有买卖合同，当时是口头协议：房子买给你 几年前隔壁买了我家四间瓦房，也没有买卖合同，当时是口头协议：房子买给你，但自留地是我的，你可以种植，但最近回家看见，隔壁在我家自留地上面砌了两间棋牌室，我回家要他还我自留地，他不承认了，说户口不在没权要回了，请问：户口迁出多年，自留地我还可以继续有使用权吗？他这叫强占吗？（生产队自留地没有调整过）