在中介那租了1年的房子，房子没到期他就不让我们住了，房屋押金我们追回了 在中介那租了1年的房子，房子没到期他就不让我们住了，房屋押金我们追回了，现在在算违约金，他不想承担责任，我们搬出来好几天了，就因为不想承担违约金跟我说房子继续租给你们你们把退的钱都给我吧，不给就是我跟你们要钱了，开始耍无赖了，我该怎么办