我跟另一个人合伙做生意，没有任何合同和相关文件，只是口头协议 我跟另一个人合伙做生意，没有任何合同和相关文件，只是口头协议，他承诺每年会给我五万，但是六年了我全心全意的为了我们的生意着想，因为有其他原因我要退出，可是他不给钱，只给我十万，但是目前只给了四万，剩下六万每次去要都是各种理由不给。我应该怎么办