我和老公给私人老板打工，没有签订合同，口头上定的工资，前些天因为工作原因和顾客发生肢体冲突 我和老公

我和老公给私人老板打工，没有签订合同，口头上定的工资，前些天因为工作原因和顾客发生肢体冲突 我和老公给私人老板打工，没有签订合同，口头上定的工资，前些天因为工作原因和顾客发生肢体冲突，他先打我，我没还手，我老公看到我被打后冲上来要打那人，但是没打到，他自己摔倒了，骨折了，那人报警了说我们打的，但是我没证据说没打他，派出所调解让我们赔偿4万块钱，现在我老板压着我和老公两个月的工资1万7千多，老板让我们承担2万，我应该怎么办，我因为工作起的冲突，老板让我拿钱合适吗，侵权责任法34条规定不是应该老板拿吗