这是不是图书诈骗？ 北京某图书公司将书寄到我单位，说是跟我单位某领导说好了的，但单位负责采购的办公室无人知晓此事。
6本书，1280元。发票抬头为我单位。
经领导会议讨论，我单位不需要此类书籍，也没有此项预算，故将书退回。与该公司联系取得退货后，将书及发票通过快递公司寄回。但是，该公司在物品寄出后突然致电，以不接受货到付邮费为由，不接受退货，且声称不付款就一直骚扰我单位某领导及财务人员。请问，这该怎么办？