我是一个包工头，前几年包了一个工程，往里面投了十几万，后来我手下的人跟另一工程队的人打架 我是一个包工头，前几年包了一个工程，往里面投了十几万，后来我手下的人跟另一工程队的人打架，把那个工程队里一个人的头打破了，当时我不在场，事后，经理撤销了我的职位和任务，我投进去的十几万也打水漂了，请问，这个责任我应该付多少？并且因为这个，我投进去的钱都不算数不归我所有了？