男方离家出走两年，并起诉离婚。在分配财产时候发现男方离家出走两年多所有财产一百多万 男方离家出走两年，并起诉离婚。在分配财产时候发现男方离家出走两年多所有财产一百多万，转空，同时和一女人频繁转账。其对法院辩称，转账给那个女人是那个女人帮他租房付房租，网线费，买床上用品费，交物管费，离婚官司律师费以及他帮那个女人收的货款。我没有他和那个女人的任何其他证据，但是以上他本人所述是不是可以认为他与那个女人有不正当关系？