您好!去年12月份房东李某找到我说他一个朋友有几十吨废铁问我们要不要 您好!去年12月份房东李某找到我说他一个朋友有几十吨废铁问我们要不要，于是我们就去看了下货，价钱也谈好了，也签了合同，三天之后可以去拉货，因为他有点事，所以要三天后去拉，当时对方要我们交6000块押金。可是时间到了他就找各种理由，让我们等几天再去拉货。知道他在找借口之后就让对方退押金，一到了今年2月份他才退了2000元。剩下的4000块一直没退，最后在房东李某的建议下一起去公安局报警，才知道他以前就有案底。
我想问下现在有什么办法可以把钱要回来？
房东李某是担保人他有没有退还押金的义务 ？