对父母的赡养义务是以子女关系是确定的。根据《婚姻法》、《继承法》的规定，如果你奶奶只有你这个孙子了，你有义务赡养奶奶。但情况不是这样，所以你可以不承担这份孝养。

根据你说的情况，你没有义务。你母亲也没有赡养义务。