关于房屋押金纠纷 承租人向屋主承租一栋出租屋，屋主已收押金（押金收据并未注明交楼日期），屋主口头上说大概8月份交楼，但由于工期延误，造成该楼到8月份尚未交楼给承租人，屋主同意退还押金的53%，但承租人不同意。目前承租人聘请有关律师向屋主发函（函里面存在恐吓屋主字眼），要求屋主退还更多的押金，请问屋主有权不退还押金吗？

注：在屋主口头交楼日期前，承租人曾放弃承租该楼。