关于案件定性和侦查取证问题 一卖猪肉男子天天搭猪肉进村里卖。经常趁村里一智障女（平时不懂说话不懂表达）家人外出务农没人在家的时候跑到智障女（已和一残疾男子同居并一起生活以夫妻相称）家中的房间内与智障女呆在一起，有多人证实经常在远处看见该卖猪肉男子不下十次的进入智障女房间内超过十分钟才出来，但是不明白里面发生什么事，而且证人都反应说该卖猪肉男子都是选择智障女家中没人的时候才进去，如果该卖猪肉男子发现智障女家中有人则只是在屋外看一眼就走了。其中有一证人在某天看见卖猪肉男子进到房间后不久还听到房间里传来智障女的反抗呼叫声。上周二正当卖猪肉男子在智障女房间内揽着智障女的肩膀时被智障女的公公回家看见当场抓获，之后该卖猪肉男子被10多个村民打伤。但是就目前情况来看，关于发生性行为或者其他性侵犯方面的证据基本为0，明知道该嫌疑人已经有犯罪行为却苦于没有证据的情况下，本着惩恶扬善的理念，我想从非法侵入住宅方面入手。请问这起案件能否定性非法侵入住宅？如果可以，应该从哪个方面重点着手收集证据。或者应该怎么定性。
感谢您百忙之中的回答和帮助，谢谢。