我们发现一个同事打牌出老千 叫他归还了我们4000元 算敲诈吗 我们是一个公司的同事 两年来下班没事就打下牌 前段时间发现他出老千 我们几个同事就去他家 让他归还了我们4000元 当时我们达成口头协议他答应给6800 现在他给了4000不给了 还让我们把钱还给他 说不还就告我们敲诈勒索 
  注：实际他赢了我们一万多 
  我们应该怎么处理这事