我在食堂租了个窗口，一开始给了他一万的预付款，后来又给他两万，一共三万，没签任何合同 我在食堂租了个窗口，一开始给了他一万的预付款，后来又给他两万，一共三万，没签任何合同。现在干了二十多天，生意不太好，不打算在继续做下去，他却要扣我一万六，说刚开始给的一万不退，又说扣5500的房租，另外多扣两个月的房租。我任何合同都没见到，开始也没有告诉我。我手里只有他拿了我三万块的录音证据。各位律师能告诉我。该怎么办呢？