单位无权罚款。根据《行政处罚法》第三条规定：“公民、法人或者其他组织违反行政管理秩序的行为，应当给予行政处罚的，依照本法由法律、法规或者规章规定，并由行政机关依照本法规定的程序实施。”因此只有依照法律规定有权实施行政处罚措施的机关，才能依法定程序和权限，对违法者采取罚款等强制措施，而劳动法上的用人单位不是行政执法机关，无权对职工的违法行为进行罚款。因此，单位对你的罚款没有法律依据，你可以拒绝缴纳。