我是买方，签了居间协议，因中介各种不靠谱，想跳过中介，还要交违约金吗？ 我是买方，签了居间协议，因为中介各种不靠谱，哄骗我们签的居间协议，所以想跳过中介，直接和卖方交易，请问如何操作？

背景：7月份在中介的怂恿之下，交了4w定金，后来因为我的首付钱在理财账户里，要到9月26日才能拿出来，所以要到9月26日签订买卖合同，于是中介要求我们将定金追加到10w给卖家，并签了居间协议，协议规定各自违约赔偿，还有支付50%的中介费。。综合种种与中介的接触，就想解除与中介的居间协议，不知道如何操作，又能避过违约金。