我买的是单位宿舍的房子，但是没有交物业费，物业都是单位交的，只交了卫生费，电动车停车费，单位宿舍规定

我买的是单位宿舍的房子，但是没有交物业费，物业都是单位交的，只交了卫生费，电动车停车费，单位宿舍规定晚上12点要关门，但是由于工作原因有时候经常晚回，叫保安起来开门，保安不高兴，还估计说我刁难他，还言语恐吓说找人打我，我让保安给我配钥匙，保安说配了钥匙要担责任，万一出问题要找我，我是自己家在这边要求一把大门的钥匙让进也不算过分吧。请问我属于单位的业主，保安有权利不让进吗？我自己家晚回来还不让进，没有交物业费，保安不让进是不是合法？言语恐吓能否报警抓他们，但是又怕后期被报复，怎么办好！