我和我前夫已经离婚六年了，当时他嫌孩子碍事，一个都不要，俩孩子都判给我 我和我前夫已经离婚六年了，当时他嫌孩子碍事，一个都不要，俩孩子都判给我，房子归俩孩子，由我管理至死，就是后来他多次上面找麻烦，还打了我和我大儿子，每次警察都来了，问问情况就叫他离开，没有得到根本的解决，让我嫁出去，他回来带孩子，请问我该怎么办