我该怎么办？矛盾怎么解决 律师您好！
         我亲生父亲在我十岁时就得肝癌去世了，母亲含辛茹苦把我和我姐姐两个人养大因为父亲身前是事业单位 母亲就在单位里弄了份工作 
         大概在我上高中时吧 母亲找了个伴（李某）李某是邻乡一位养鸡的农户，后来亏本了 现在也没有正式工作 整天打麻将 偶尔帮别人做点零工 
         他们两人虽然在一起生活了十多年 但是两个人经济是独立的 也一直没有领取结婚证，我和我姐上学花的钱都是我母亲的工资，
         李某也有两个女儿 现在一个已经嫁人 一个刚毕业   我家在3年前借我们村里搞新农村建设 利用我农村奶奶的名字（我妈的户口是转到城镇了）盖了一栋集体房大盖花了20万吧 
         买地皮的钱是我妈自己拿的2万 剩下我姐出了10万 我出了4万向我舅舅 姨父 借了4万就把房子盖起来了 
         李某没掏钱（他也没有什么钱，挣点钱也给他的两个女儿上学了） 但是他出了力，盖房子帮了忙   因为当时盖房子时候我和我姐姐都在外面上班打工
         去年，我回来上班了 也结了婚  李某和我老婆关系很不好  因为他吃住都在一起 家里日常开销李某也不问 属于那种好吃懒做的人，打牌喝酒 不干活
         这几天矛盾升级 我老婆和他吵起来了 现在李某说房子是他盖的  叫我们搬出去？老婆已经怀孕7个月了  我现在很烦恼  李某和我妈妈也常一起吵架
         以前我一个人的时候看在我妈妈份上我也不怎么和李某说事 毕竟他们在一起那么多年！ 现在成家了 马上就要升级当爸爸了  真的是两难  我知道我妈妈也难过  
         一边是她生活十多年的男人  一边是她亲生的儿子  她也不好说什么！但我看得出李某不是真心对待我母亲！ 但是母亲是个有良心的人 母亲有点怕那个男人
         母亲也从来没让我们走   说要离开也是李某，李某自从我家这边盖了新房 现在已经都不回自己家了，他自己家里有房子在农村离我们村有20多公里  
         我们村建设的新农村靠近县城 房子现在也升值了，估计能值50多万吧！（但是村里盖的房子没有证）请问律师 我接下来该怎么办？是和老婆搬走吗?那我母亲老了怎么办？她就我一个儿子！不走的话 这个日子太难过了