买二手房中介要求交3000元诚意金，业主只肯101万，定金能否退回？

买二手房，中介让我交了3000元诚意金，签了协议，协议里面写明4月10号之前如果没有谈成一百万房钱的话，就把定金退回来。最终业主不肯100万，只肯101万，而且要我们提前给首付帮他还完之前的按揭。中介问101万接不接受，磨了几次之后，就在微信里面回复了那个中介可以接受，想第二天再亲自和业主去谈价格。第二天跟那个业主谈，最终还是谈成101万，等中介写完合同要我们签时觉得还是不合适，就没有签字成交。然后现在中介就不肯把定金退回来。他说因为我答应了业主是一百零一万，是我临时反悔不签违约，说我在微信里答应他101万接受。按我们的理解答应给诚意金是在一百万的情况下，而不是101万的情况下。定金能拿回么？