毕业生就业协议（三方协议）违约金的问题。 原来我已经跟一个单位签约了就业协议书（三方协议）。

现在我想违约。

然后跟原来签约的单位提出违约，但是该单位不想让违约。
然后在就业协议书备注那里写了：
如果要违约，需要向甲方交纳违约金6500元。然后署名是甲方用人单位+单位公章，乙方是他们填上的，写着毕业生。这个不是我填的，那时候签约这个协议的时候并没有违约金这个条款。这个是他们备注上的。

我问一下，现在要交这个钱合法吗？
我要违约，必须要交纳那么多的违约金吗？