收了住客押金，他不住要我退，我可以不退吗？ 此住客是租了我二楼三年的住客，因跟二楼其它住客有点矛盾，他两公婆多次来找我，希望我把四楼隔个厨房厕所出来，四楼本有一间房，她们还说装修的钱他可以先出，到时搬上四楼再租金里扣，再他上门找我多次后，我决定了装修，等装修好，他说我四楼楼梯那里要弄个门安全一点，说怕小孩掉下去之类的，我让他先搬上去，门慢慢再来搞，她不答应说我逼她搬，要是她小孩出事责任就要我负，无赖最后还是弄了铁闸门，我装修前收了他2500元，说是用作扣四楼租金，装修用了4000元，因为他之前老说怕小孩出事，我心想现在门弄好了，应该跟他签个合同，合同里说收500元押金来约束怕他不爱护房屋，要是没有恶意损坏到退房时就退回给她，可她说之前没说要押500元，也没说要签合同，说要我把2500元退给他，他不住了，想请问这钟情况我可以不退吗？