一个老板叫我们出国打工，然后说的是让我们交一万块钱保证金，我们把钱交了 一个老板叫我们出国打工，然后说的是让我们交一万块钱保证金，我们把钱交了，他拖了大半年也不给我们安排出国，然后我们说不去了，叫他把钱退给我们。从交钱到现在都快一年了，他只给我们一人退了五千。现在我们打电话不接，我们应该怎么办？