我老公在外养个小3，并生1女儿5岁，去年我才知道，现在那小3又待产了 我老公在外养个小3，并生1女儿5岁，去年我才知道，现在那小3又待产了，我们在农村建有两座房子，1坐两层，另外1座1层，我该不该在那座1层的加至2层，因为我们有两个儿子、大的刚结婚有1女儿了，小的读初1，我怕他们以后回来争房子，建房子的钱3分之2是我在广东打工赚的，我不打算离婚可以吗?他如果逼我也不离可吗?他们有权回争我的两座房子吗