该要求对方退回质保金吗？ 您好！

请问，我公司年初购买一台设备，供货期较久，合同上约定预付30%款项，待制作完成后于交货前支付余下65%。5%为质保金自发货之日起一年内付清。由于合同签订已有一定时间，在接到上层付款通知时没细看合同，把5%的质保金跟着余款一起打过去了。请问，这种情况是否应该让对方把质保金退回？谢谢