您好，不能的。

调解协议是对你与原告就借款事宜重新达成的协议，如果原告不按调解协议约定主张债权，要求你一次性支付，你可以拒绝，即使不约定违约金，也不影响。
根据《中华人民共和国合同法》第114条第一款规定：“当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。”违约金针对的是违约者，不局限于原告或被告一方。