赌债违法，不必偿还，更不必举债偿还。
他买的房屋为你夫妻共有，离婚时你有权分。

收集对方有外遇的证据，起诉离婚时可以要求对方物质和精神损害赔偿。

赌博的债务属于个人债务，不应当偿还。

——（1）首先，你是否知道呢丈夫与第三者以夫妻名义共同居住生活的，如果是，那么你丈夫涉嫌重婚，你可以直接向人民法院起诉，依法追究对方的刑事责任，而因此造成你们离婚的，你还可以主张赔偿。而第三者明知你丈夫有配偶仍然与你丈夫以夫妻名义共同居住生活的，也构成重婚罪。
（2）如果你丈夫只是外遇的话，那么你可以收集对方外遇的证据，有权对方少分或者不分夫妻共同财产。
（3）据你所述，你丈夫赌博所欠下的高利贷，不属于你们夫妻共同的债务，那么你也就无需承担偿还的责任，由其个人自行承担。
（4）你丈夫用夫妻共同财产为第三者购买的房子，你有权主张返还。
建议协商解决，协商不成的情况下，直接向人民法院起诉解决。但是据你目前的情况，建议你还是委托律师进行处理较妥，毕竟你还为对方偿还了100多万的赌债，证据方面的有效性需要专业的律师为你提供法律建议。