你有对方出轨（过错）的证据，可以在离婚时要求对方损害赔偿，但你如无证据证明他的债务与你和家庭无关，则很可能法院会判你承担带带责任。