如果买房的钱是借的男方父亲的，应当偿还。如果是男方父亲给你们的，他无权要求返还。如果男方父亲是在你们结婚后为你们买房子出资，应当属于你们的夫妻共同财产。离婚时按照夫妻共同财产进行分割。
如果协议不成，建议你通过诉讼程序办理离婚手续。