、某年3月，原告与被告签订购销合同。合同约定原告以40元/套的价格向被告购买3000套童装 、某年3月，原告与被告签订购销合同。合同约定原告以40元/套的价格向被告购买3000套童装，5月1日为最后交货期限。合同订立后，原告向被告支付了10万元预付款。4月30日，原告向被告询问货物是否备齐，被告答复“五一”一过即可送货上门，原告同意。5月4日，原告因未收到货物，遂派人前往被告处，发现被告仅生产出1500套，而工人正在赶制其他服装。原告提出因被告违约，决定将已做好的童装提走，其余的童装请被告不要生产了。被告提出制作童装的面料已经备好，不能终止合同。最后，原告同意被告于5月20日将货物送到原告处。否则，赶不上“六一”展销会，不必再发，已做好的童装由原告提走。
5月20日，被告未能将货物送到，原告通知对方解除合同。但是，直到5月28日，被告告知原告，货已备齐，可将货物直接送到展销会场。原告称合同已经解除，所以，拒绝收货，并请被告退还4万元货款，被告拒绝。
请分析以上情况，说明该合同纠纷如何解决（说明理由）？