我家房子是2015年末翻建的，翻建之前当地政府在当地引进了一个项目组建 我家房子是2015年末翻建的，翻建之前当地政府在当地引进了一个项目组建，现在工厂已经投入生厂，现在我家房子正前面有一小片空地，原属村民自留种植地，后因工厂基建被当地政府征收，也付清了征收补偿，当年因为厂的基建种种原因至使留下了一小片空地，以至那块地荒废了五六年。直至15年我自建房落成之后，原自留地主人要来重新开发那片空地，声称那片空地他们有权重新种植。我们向村里干部反映过情况，可自留地主人态度十分坚决，声称你们村干部也没权来过问这片地的所属权。请问：原自留地主人的这种行为合法吗？我们要如何解决？