和租房中介的纠纷 我7月14日在网上看到一条租房信息，中午和房东、中介相约看房，没有确定是否租，下午中介打电话，要我下定金，并口头承诺不租可退。晚上和中介再看房，并和房东电话联系确定租房，交500定金，并约定7月17日签合同。由于客观原因，我不能租这套房，7月17日三家协商，达成协议如下：1，我自认为给房东造成了一定损失，给予一定的赔偿，300元；2，中介跑了几趟比较辛苦，给予100元辛苦费；3，支付方式：我给了房东300元现金，我有收条，中介辛苦费在定金中扣除，中介在8月18日退还我剩余400元，留有协议！
但是中介本星期一反悔，给我打电话要求我支付200元辛苦费，我不同意，他们威胁我找我领导讨说法；并给我发信息说一大堆理由说我违约！

我要咨询的是：我在这个过程中有什么违约责任？
这个事情严重干扰我的工作和生活，我能否直接起诉他们