我老公以前和一个女人生过一个孩子，后来分手了，分的时候女方叫我老公拿五万块钱 我老公以前和一个女人生过一个孩子，后来分手了，分的时候女方叫我老公拿五万块钱，孩子就归我老公，但是钱拿了，女方却不给我老公孩子，从那以后我老公就没在联系他，也没看过，女方把孩子姓都改随女方姓了，现在六年了，女方又要告我老公不给抚养费，我老公该怎么办？