你违约的话应承担违约责任，违约责任不是惩罚责任，如果合同没有约定违约金条款，你只需赔偿因你违约给对方早横的损失即可。
如果约定的违约金明显高于你违约给对方造成的损失，你可以主张少付违约金。
根据你的描述，你们合同里的约定属于违约金条款，你可以主张约定的违约金过高要求少付，但是需要你自己举证证明。