你好，我的门面房出租给别人签订合同到2016年8月15日到期 你好，我的门面房出租给别人签订合同到2016年8月15日到期。其中规定了期间房租不变和租金合同期间如果他无法经营的。要给对方2万违约金。他的是不退押金两万，今年8月份我给他涨了1万房租。他同意了。现在已经又改缴纳下半年的房租了，他说生意不好不干了，叫我退押金。合同还没到期。我不退。给他说了。叫他继续干。干到合同到期我肯定推他。他不干。还说我违约了不退押金告我。我想问下。这算不算是双方都违约。违约金要怎么赔？