给工人办理了三年多次往返旅游签证，去刷货，因为现在刷货是淡季，就给他安排打工，就是去了日本拿着旅游签

给工人办理了三年多次往返旅游签证，去刷货，因为现在刷货是淡季，就给他安排打工，就是去了日本拿着旅游签证打工，工人去了第二天就回来了 ，说是去了了解后 家人说旅游签证是违法打工，就回来了，现在要求我退还中介费，以及机票费，当时我们没签合同，只有收据，我没有外派劳务资质，也不是劳务公司，只是一个劳务咨询中心，他如果去法院起诉我，会有什么后果吗