住了十几年的房子突然冒出来个房主 丝厂垮了之后绝大部分的人都离开了，房屋空置，我爸妈外出打工，为方便照顾我，我家搬家到奶奶楼上（已无人居住），几年之后，厂中部分房屋因过于老旧而拆毁（包括我们原来的住房），负责人表示拆掉的房子里的人自己随意找厂内空房居住。
    如今搬家十多年了，一直没人过问的房子突然有人跑到我家来，说他去国资办查了，这房子的使用权是他的，让我把东西搬出去，他家里东西放不下了，要放这里。我觉得是他看附近开始开发了，这房子快拆了，想回来分拆迁款了。
    我自己装了房子，安了水电住了这么多年，我为什么要搬，这厂里的房子是国资办的（？我也不大清楚，我妈和他吵架说的）是公家的也不是他的，拆房子的时候那个负责人说了让我们自己找空房子住，他现在看到这边发展了，说不定房子要拆了，可能能分钱了就跑到我家闹得我家鸡飞狗跳的，有这么便宜的事么。
    他一来我就让他去找那个负责人，他不去，让我自己去，问完了另外找个空房子搬走，还非要让我承认这房子是他的，给他写字据。然后我不理他就在我家赖着不走。
问题：
    这房子我还能继续住么，能不能让他离开，拒绝他搬东西放我家（楼下装了铁门他上不来，还说下次进不来要把锁毁了）？