我是3月13号从工厂辞职的，然后3月的工资要到4月10号发，昨天发工资的时候由于3月重感冒发烧，断断

我是3月13号从工厂辞职的，然后3月的工资要到4月10号发，昨天发工资的时候由于3月重感冒发烧，断断续续请了4天假，由于我是小时工，属于派遣工，工厂这边说没法请假，只能算旷工，昨天发工资的时候，中介把这4天按旷工处理，而且还倒扣我一天8小时，4天共计32个工时，倒扣共640元，中介这种倒扣工资做法在劳务协议上并没有标明，现在中介说他在上班前讲过，与他们联系，但中介态度恶劣，拒不发放倒扣我的工资，请问中介这种做法合理吗？然后我该怎么办呢？