我哥每年按照之前分家时候的规定给500元生活费，老人生病不照顾，一年到头也不到老人家去，我爸想起诉他

我哥每年按照之前分家时候的规定给500元生活费，老人生病不照顾，一年到头也不到老人家去，我爸想起诉他要回以前家产可以吗？我两个哥是我妈带过来的，父亲是他的后爸，以前结婚时候有村里的书信清楚写着，老大在我爸抚养18后回到原来老家，我二哥跟着我爸，现在二哥除了一年给与500元老人住院生病不漏面，我爸想要回给他的家产，请问我们有道理吗？