交通事故他不上诉，要找我家人 我是司机，在给老板跑运输的过程中与一摩托车相撞，现在摩托车一方要与我私了，我不同意，，他就一直给我打电话，影响了我的工作，他还扬言要找到我家去，我家有老小，我担心他做出什么对我家人不利的行为，我要怎么办