我在夜市在个人手里租了一个摊位，但是事后发现个人不能将摊位转租，所以我想叫对方退钱， 我在夜市在个人手里租了一个摊位，但是事后发现个人不能将摊位转租，所以我想叫对方退钱，（夜市有规定不能转租）。由于当时粗心对方说明天再给你合同，第二天发现此问题时，跟对方说明，但是对方，耍无赖，说不管，并且威胁说不给你合同，你也就没给我钱，并且现在去了哈尔滨，过几天才能回来，我应该怎么办？