您好，我有个女儿，跟随父亲，但我没跟他们生活在一起，跟男方分手好几年 您好，我有个女儿，跟随父亲，但我没跟他们生活在一起，跟男方分手好几年，但今年暑假接女儿来这边，她父亲也来了说第二天走，但是来到杭州她父亲一直赖着不走，打了多次架，而现在住的房子是我自己辛辛苦苦挣钱买的，而我一直肯定地和他说分手了不要纠缠，可他就是赖着不走，今天还打架了，报了警，可警察家务事他说他管不了，我想问，这种情况我该怎么办