如果中介公司只是单纯的居间人（中介人），你的定金是交给了房东，那么直接和房东联系解除合同，中介费可能退回部分。
如果中介公司不仅是居间人，还是以房东身份直接租房给你，那最好，找到中介方的违约行为，比如介绍房屋有虚假承诺、房屋存在使用问题等，以此要求解除合同，退还中介费。