可以拒绝去别的部门。

建议协商处理

有权不去，协商不成的话，公司可以解除劳动合同，但需要支付你经济补偿金。