你好，因为这是你同香港高校的纠纷，建议你可以咨询一下香港的律师。

如果在大陆这边，因为校方给你的协议属于格式合同，格式合同是指当事人一方预先拟定合同条款，对方只能表示全部同意或者不同意的合同。
格式条款在以下几种情况下才无效：
 （一）一方以欺诈、胁迫的手段订立合同，损害国家利益； （二）恶意串通，损害国家、集体或者第三人利益； （三）以合法形式掩盖非法目的； （四）损害社会公共利益；（五）违反法律、行政法规的强制性规定。（六）如果合同中有免除“造成对方人身伤害的”或者“因故意或者重大过失造成对方财产损失的”责任的条款，则该条款无效。除了上述几种情况，如果提供格式条款的一方当事人免除其责任、加重对方责任、排除对方当事人的主要权利，则该条款无效。

所以对照你的情况，很难套上其中的任何一种情形，因为确实是你自己违约在先。

我个人的意见是香港是个法治发达的地区，该高校是肯定有法律顾问起草了合同、协议的，一般不会存在不合法的规定，而且关于民法原来方面的东西，全世界很多都是共通的，所以很难退得到。如果不是什么特别的原因，你其实可以去那边进修的，其实去那边读书，以后会有不少便利，特别是要再出国的话，是会非常便利的。