我跟朋友在一个无证小厂做了几天临时工，老板想让我们继续去，他说我们答应了他帮忙到月底 我跟朋友在一个无证小厂做了几天临时工，老板想让我们继续去，他说我们答应了他帮忙到月底，可是我们并没有这样说，他还怪我们不想做那么久不早点说，说现在都月底了找人难找，人家工资也要的高，现在就好像他用钱威胁我们一样。要是不继续去他那边帮忙就拿不到工资，发信息给他也不回，请问这个该怎么处理好