只能按照合同约定履行，除非你有证据能够推翻合同约定

这个问题很复杂。要看怎么理解了。按照常理，押金到合同结束时是必须退还的。如果不退还，就不是押金了，而是违约金或者是订金。但是从您的表述来看，似乎不太符合法律关于违约金或者是订金的规定。而且该条款只规定您的义务，而没有规定相应的权利，这个也不符合合同必须具有对价的规定。但是，法院为了了省事，一般都会按照合同约定处理。因此，我的建议，可以协商处理；协商不成的，如果不太多，就算了吧。如果比较多，可以尝试去法院起诉。还有，你也可以试试转租。

吴律师的观点很中肯，完全同意。口头承诺说不清道不明，无铁的证据，说跟没说一个样。

通常情况下，只能按合同约定办理。还是尽量协商解决为妥。