购销合同纠纷 在一份购购销合同中，双方确于X年X月X日订立了购销2万千克的合同，并约定在交货地点验收、过秤、打包收货；双方当事人同时在交货地点验货时，需方未对红枣的质量提出异议；红枣到达运送目的地后，确实在若干时间后，发生霉变，一部分未能推销出去，存放在仓库的那部分已霉变不能食用；需方确实还没有向供方付款；查明红枣霉烂与承运方和仓储保管方五关。
在这种情况下，供方因需方不付款而上诉法院，要求：1、需方立即偿还全部货款及预期利息；2、支付违约金5000元
需方则辩称：不付款的理由是供方的货物不符合质量要求，给需方造成很大的经济损失，因此，拒绝付款。现愿意支付推销嫁出去的那部分货款，损失部分的货款不予支付，另外，违约金在合同中没有约定，因而没有支付的道理，供方的损失和自己的损失相抵消，故拒绝赔偿。
在这种情况下，该案如何处理较为 公平？