用人单位与劳动者约定违约金，仅限于劳动者违反服务期约定和违反竞业限制协议这两种情形。用人单位并非可以随便制定服务期协议，只有为劳动者提供专项培训费用，对其进行专业技术培训的，方可以与该劳动者订立协议，约定服务期。并且，用人单位约定劳动者支付的违约金不得超过其培训费用。