你如果拒绝，法院会推定对方的主张

没有权利拒绝，如果不作视为不是他的孩子

根据《婚姻法解释三》第二条夫妻一方向人民法院起诉请求确认亲子关系不存在，并已提供必要证据予以证明，另一方没有相反证据又拒绝做亲子鉴定的，人民法院可以推定请求确认亲子关系不存在一方的主张成立。

　　当事人一方起诉请求确认亲子关系，并提供必要证据予以证明，另一方没有相反证据又拒绝做亲子鉴定的，人民法院可以推定请求确认亲子关系一方的主张成立。