如何正确处理维权 你好，我是一室内设计师，之前跟一施工老板签了设计合同，合同价是30万，已付了5万定金，剩余费用按设计进度分批次付款。
之前往建设方处已递交过两次效果图方案，第三次递交效果图时建设方发现效果图上与建筑图有明显的不一致，故以此为由不采用此施工老板的设计方案（即我的设计方案）。
对此，施工老板认为是我设计效果图未依照建筑图出图而出错的原因，造成他无法接下此项目。因此想让我私下给予他补偿（或追偿他在跟踪此项目过程中所花销的费用），至少要退还其设计费用。
对此我很忧虑也很迷茫，因设计合同中有定“甲方提出终止合同，费用不予退还”及”出现遗漏及错误负责免费修改”，现在我们双方并没有闹到需要到法院的程度，且我并不想给其退费。可是，我又不知如果不退，怎样可以转化此次的纠纷。
主要中间还夹着几个人，他们基本上每天给我施加压力，目的就是退费。