第一，委托律师就你哥哥交通肇事的行为，和公安机关沟通了解，视情况争取在公安阶段撤销案件；
第二，私了协议是如何约定的？经律师审查后，律师再判断是按民事诉讼途径要求其返还20万，还是按敲诈勒索或诈骗追究对方的刑事责任，并要求对方返还20万。

你好，
1、当时没有报案吧？根据规定，如果你哥哥的交通事故中是全责或主责的，涉嫌交通肇事罪，公安等司法机关既可追究刑事责任，对方也可要求民事赔偿。
2、民事赔偿部分可以私了，刑事责任部分不能私了。

建议委托律师帮助你

你哥哥涉嫌交通肇事罪，追诉期没过，应该追究刑事责任。
与对方就民事部分达成协议并积极履行，可以作为从轻减轻处罚的情节。
对方无理要求不予理睬，委托律师辩护。