结婚三四年后，由女方母亲卖掉自住房后，帮我们付的现住房首付30万，房产证上是男方和女方母亲两个的名字

结婚三四年后，由女方母亲卖掉自住房后，帮我们付的现住房首付30万，房产证上是男方和女方母亲两个的名字，在银行贷款56万，主贷人是男方，一直是男方在付月供，因要离婚，所以将该房卖了120万，事先说好卖房款还了银行贷款后，给女方母亲40万，剩下的就全部给男方用于还外面所有欠账，现男方反悔，说他在银行贷了70%，女方母亲只占30%，按照120万算，只愿意给女方母亲38.4万，这样合理吗？离婚协议上写明所有外债由男方承担，这样就跟我没关系了吗？