我母亲被人打伤，鉴定结果轻伤二级，事后经过派出所和法律援助中心调解 我母亲被人打伤，鉴定结果轻伤二级，事后经过派出所和法律援助中心调解，达成协议，他赔偿我母亲医疗费等，不到法院起诉他。协议之后双方不得指桑骂槐。签了协议书之后，他又不遵守协议，对我家整天辱骂。我想咨询一下，能不能跟他解除协议，把他赔偿我母亲的钱退给他，到法院起诉他。