我跟孩子父亲离婚三年 当时离婚协议上有写男方有个人居住权 因 我跟孩子父亲离婚三年  当时离婚协议上有写男方有个人居住权 因为当时男方是监护人 现在监护人是我 房子在离婚的时候赠予给了孩子 现在孩子跟我在一起生活 男方有居住的地方可是我没有 我身为监护人 我可以跟孩子一起起诉驳回男方的居住权吗？当时孩子跟男方一起住的房子里的时候男方经常辱骂孩子晚上喜欢喝酒闹事很晚归家 对孩子造成了影响 我想知道能否起诉驳回？胜算多少？