父母离婚，我们是跟随的母亲，我还有和姐姐，父亲因为诈骗钱财被坐牢，出来之后找到我们，要求分房给他住，

父母离婚，我们是跟随的母亲，我还有和姐姐，父亲因为诈骗钱财被坐牢，出来之后找到我们，要求分房给他住，我们家是拆迁安置房，当时是一人一套房，他的那套房因为欠别人钱卖给别人了，之后还不清钱，被告坐牢，现在就找到我们赖着养他，他从小没有管过我们，还在外面乱搞，在我们之前他还结过一次婚，也生了两个女儿，总共四个女儿，现在就是要养我们分到给他住，这不可能，真不想和他有什么联系了，之后赡养他可以，但真的不想和他有什么来往了，这个我们要怎么办，而且他家那边他的兄弟是村委会的村长，可以说权利比我们大，我们就仗着被别人欺负，怎么又法律程序