今天早上发生了交通事故 两车相撞，对方现在有点胡搅蛮缠，并对我谩骂， 说我全责，并拿了我500元押金

今天早上发生了交通事故 两车相撞，对方现在有点胡搅蛮缠，并对我谩骂， 说我全责，并拿了我500元押金 ，下午去咨询交警说对方全责，对方发短信谩骂我，并说如果我的保险赔付不到账 不给我退押金。如果事故责任划分后对方还不退换押金 并且造成了我身心疲惫我应该怎么办