尊敬的律师你好:咨询一下一个问题，因为这个事情家里很是烦恼，简单介绍一下事情的过程，我弟弟去年离婚，

尊敬的律师你好:咨询一下一个问题，因为这个事情家里很是烦恼，简单介绍一下事情的过程，我弟弟去年离婚，法院判决女儿（女儿21岁）随女方生活，目前爷爷奶奶舍不得孙女，就要孙女回来生活，但是孩子又拖住她的妈妈，叫她妈妈一起回来居住，（这套房子是空置房，我弟弟已经重组家庭住在其他地方），作为我弟弟的意思，既然已经离婚，前妻就不好回来，不合情也不合法，但是这个前妻也有回来住的意思，（因为她想房产，所有房产权都是我弟弟的），请问律师这个事情怎么解决！有什么方法不让前妻回来，很郁闷