单位只有两种情况下可以收你的违约金。一是单位为你支付了专项培训费用并且约定了服务期；二是单位与你约定了竞业禁止限制，并且向你支付了补偿的。其他情况下收取违约金都是违法的，你可以拒付。