打架致对方受伤，在派出所签了和解，现在对方反悔 半个月前，我在西安跟导游发生冲突，对方先骂人先动手，我还手击中对方面部，造成对方鼻梁骨折，后在当地派出所双方自愿签了调解书，我赔给对方几千医药费，约定此事到此为止，但对方保有就民事争议起诉的权利。结果签完调解书当天开始，对方发动很多人不停的短信和电话骚扰我，威胁、诅咒等等。而且最近对方家属找到我，说医药费不够，让我继续赔偿，否则就去法院起诉我。这种情况下我该怎么办？