我驾驶车辆撞了一辆自行车，自行车上有个女人和孩子摔倒在地了，当时也没有报警 我驾驶车辆撞了一辆自行车，自行车上有个女人和孩子摔倒在地了，当时也没有报警，就拉的她们去医院检查了，也没什么事情，时候才报的警和保险，我们想开一张责任认定书，交警让写一份赔偿协议，但是乙方不愿意签字，我们给他们看也看了，也没什么事情，如果他们实在不签字我可以不管他们吗？后续会有什么对我不利的吗