设计合同违约金计算基础应为合同价？业主财务提出异议，该如何应对？

我是设计方正与业主谈一个设计合同，有条关于业主迟延付款违约金的约定，约定计算基础是合同价格的千分之一，但业主财务说不合理，应该改为迟延支付的那部分钱的千分之一作为违约金，我想坚持以合同价为计算违约的基础，一般好像都是这么约定的呀，请问支持我的观点有比较合适的理由吗？