我是3月13号从工厂辞职的，然后3月的工资要到4月10号发，昨天发工资的时候由于3月重感冒发烧，断断

我是3月13号从工厂辞职的，然后3月的工资要到4月10号发，昨天发工资的时候由于3月重感冒发烧，断断续续请了4天假，由于我是小时工，属于派遣工，工厂说没法请假，只能算旷工，然后中介这边结算工资的时候，把这4天按旷工处理，而且还倒扣我一天8小时的工时，4天合计倒扣32个工时，共计640元，这种做法在劳务协议上没有任何标明，中介说在工作前他讲过，现在中介倒扣了我32个工时没发工资，与他们联系，他们态度恶劣，拒不发放，请问中介这种做法合法吗？我该怎么做呢？