您好，我老婆前一段时间在如东一中介看了一套二手房，在没有充分考虑的情况下签定了房屋买卖协议 您好，我老婆前一段时间在如东一中介看了一套二手房，在没有充分考虑的情况下签定了房屋买卖协议。并付定金2万和中介费2000元。由于没有电梯等因素，现考虑不想要了。房主的收条写的是订金2万。后来跟中介也商量过，但是人家要我们付违约金5万。当然，我们有错在先，不想能全拿回所付定金。请问这种问题如何解决？！。