应当退回。如果是违反取保候审的规定后被逮捕的，不能退，应当收缴国库 。

如取保候审期间没有违反规定，那么就应退还。