要看你的协议里违约金是对什么的约定，如果不属于劳动合同法规定的违约金范围，可以不交。

一般按协议约定办理

约定无效。除用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与其订立协议约定服务期。或有保密协议和竞业限制协议等情况，除此之外，劳动者不需要向单位支付任何违约金。

按协议约定。