除非有充足的证据证明是受到威胁,协议有效,但是你爸爸是有责任的,要赔偿

作为雇主，应该对雇员的人身安全承担一定的保护责任，该事件中，你父亲有不可推卸的责任，赔偿是少不了的，只是赔多少如果协商不成只有交给法院裁量了。
如果有证据证明赔偿协议是受到胁迫而签订，可在一年内主张撤销。

你爸与该工人之间属于雇佣关系，应承担赔偿责任，但该工人在作业中存在过错，可减轻你爸的赔偿责任，双方已经签订赔偿协议，应按协议履行。

你们应该承担赔偿责任