《劳动合同法》规定，只有在两种情形下，用人单位可以约定由劳动者承担违约金：
一是在培训服务约定中约定违约金。用人单位为劳动者提供专项费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。
二是在竟业限制约定中约定违约金。用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和知识产权相关的保密事项。对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竟业限制条款，并约定在解除或者终止劳动合同后，在竟业限制期限内按月给予劳动者经济补偿。劳动者违反竟业限制约定的，应当按照约定向用人单位支付违约金。竟业限制的人员限于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。竟业限制的范围、地域、期限由用人单位与劳动者约定，竟业限制的约定不得违反法律、法规的规定。在解除或者终止劳动合同后，以上规定的人员到与本单位生产或者经营同类产品、从事同类业务的有竞争关系的其他用人单位，或者自己开业生产或者经营同类产品、从事同类业务的竟业限制期限，不得超过二年。
除以上两种情形外，用人单位不得与劳动者约定由劳动者承担的违约金，或者以赔偿金、违约赔偿金、违约责任金等其他名义约定由劳动者承担违约责任。