我爸以前包二奶，他工作的地方人人都知道他包二奶，他的同事替我妈抱不平就告诉我妈 我爸以前包二奶，他工作的地方人人都知道他包二奶，他的同事替我妈抱不平就告诉我妈，我妈和他吵了，还动手打我妈，我妈考虑我和姐姐还小，就忍了，后来回到肇庆四会，我妈开了个小店，我爸就去高要的厂里工作，但是他又开始继续包二奶，又是他厂里面的人告诉我妈的，有一次他还带二奶回家（那时我奶奶走失了，我叔也在那厂里工作，亲戚都来我家询问情况和我爸的一些同事），那时我们都没见过他的二奶，后来我爸厂里面的人对我妈说他包的二奶
就在这时来我们家，之前我们只知道我爸包二奶，没见过那二奶，后来听他厂里面的人这么一说，顿时来气啦，我爸说没这事，不承认包二奶，我妈当时就想跟他离婚，但是他不同意，而且我和姐姐也还在读书，所以我妈又忍啦，现在他又包二奶，只不过我和姐姐长大了，所以我妈想跟他离婚，但是他还是不同意（之前吵架的时候，说去离婚，他又不去），有一间房子（是我妈和我爸早年买下的，写的是我妈的名字），现在我们对他早已不抱希望，想离开他，我们自己生活，但是他不肯离婚，怎么办