请问一下 8月2号我和我们厂子的职工因为一点小事打了起来·我打了他一拳，当时他工作到下班后才离开，第二天也照常上班了。第三天上午他说自己到医院去检查，医生说是耳膜破裂，要求赔偿。我拒绝了，然后他从厂子外面找了两个人进厂子打了我一拳，打成脑震荡。之后他又报了警。请问一下对方和我都应该负什么责任，谁的责任比较大。