二手房交易问题 我是二手房公司的  去年10月 售出一房子，原房价21万，我们22万帮他售出 买方首付12万，银行贷款10万  房主给了我壹万元，没有开收据，随后买方办理贷款，下贷后交清房款，时间截止到10月30日，其后因买方原因，工商银行只给贷8万元，买方说可以再凑2万元 一起交给房主 后来工行贷款办理下来买方又不同意，说必须贷10万，结果因为买方原因，出尔反尔，造成2012年1月16日贷款办理完毕，房主钱已付清，房主因贷款拖时间长为由 要我退还他5000元 ，说要起诉我，我没有和他签任何协议，协议只是买卖双方签的，违约金三万元，请问他们能起诉我吗？