我与中介签订了一份房产买卖合同，签订这份买卖合同当日后对方给我交付了一万元定金 我与中介签订了一份房产买卖合同，签订这份买卖合同当日后对方给我交付了一万元定金，次日与我一起去银行办理房产贷款结清，垫付了52万元左右，因我购房合同丢失当日未办理房产证等手续，于是在两三天后我与我爱人商量时，不同意以这个价格出手。而后办理了抵押借款，想给这个中介退还押金和垫付款时，对方要求我赔付3万元违约金，想咨询一下这个事怎么办。我只想全额给他退还这些钱。