在电话中对方和我父亲争吵起来，随后我父亲气不过就来到亲戚家，于是争吵起来，我随后和我母亲跟至他家，他

在电话中对方和我父亲争吵起来，随后我父亲气不过就来到亲戚家，于是争吵起来，我随后和我母亲跟至他家，他老婆争吵不过，就来攻击我母亲，我母亲没有理他，就一直往我母亲身上抵，我气不过说了一句干什么，于是他就往我身上抵，我下意识的推了对方一下，对方就来打我，在互殴中，对方拉着我衣服不放，我无法挣扎在我后退中对方抓住我的衣服摔倒了，不是我打的，现在说被我打的，而且我被对方3人打了，当晚去拍了片没多大问题，过了几天去医院做了磁共振说是膝盖膜破裂腿筋断了，经过派出所处理，要我负全部医药费、误工费、护理费等等，我算了一下，大概要五万多，我想知道双方都有责任吗？这事该怎么处理？我需要负全部损失吗？