劳务纠纷 律师，你好。
我单位现在一应停产了，之前因为停产就把工人辞退了。但是工资报酬是付清了的。因为我们单位比较小，人员流动比较大，就没有跟员工签合同，员工也没有买保险。
现在他到劳动仲裁去告我们说我们辞退他，要求我们支付他赔偿金。
劳动仲裁在听他一个人的陈诉后，给我们发了个仲裁申请书，要求我们支付他经济补偿6年的工资和未签订劳务合同的双倍工资。
  我想问一下，劳动仲裁是凭什么认定我们之间的劳务关系的，而且事实及理由也有出入的地方。
  再加上该工人在我单位期间也不按规定做事，给我们也带来了很大困扰。一辞退他他就威胁说告我们。所以我们不愿意履行仲裁。请问有什么办法可以不履行呢？如果我一口咬定他不是我们的工人或他自己离职能行吗？