我获取了合壹汇售卖信息的资料，和公司的客户经理对接，把2万个外科口罩卖给了孙经理，钱全部打到合壹汇指

我获取了合壹汇售卖信息的资料，和公司的客户经理对接，把2万个外科口罩卖给了孙经理，钱全部打到合壹汇指定账户，金额是42000元。单价为2.1元一个。对方客户经理承诺2万个口罩发货以后按照0.15元一个的居间费用一共3000元转我指定账户。合壹汇发货了，客户也收到了，我也收到了居间费用3000元，最后客户因为货物出不去海关需要申请退货，合壹汇退给他39000元，剩余的3000让我把居间费用退还，否则报警以诈骗罪处理。因为在电话和孙经理沟通过程中，其中提到了我是合壹汇的，其实我不是，我是和公司的客户经理对接的。请问律师，我是否应该退还居间费用？