在7月20号。我和我女朋友去看房。打算租房。好不容易看中一个房 在7月20号。我和我女朋友去看房。打算租房。好不容易看中一个房。600多一月。我和我女朋友商量。约定27号住进去。当天就付了押金650，我们没住进去之前就电话给房主。说我们不租了。要求他把押金退回。他说不退。请问他是合法吗？我能追回我的押金吗？该怎么追回？