行政处罚法规定，执法人员与当事人有直接利害关系的，应当回避。回避是一项司法制度，民事诉讼法和行政诉讼法都有关于回避制度和程序的规定。它是指按照法律规定的条件，执法人员与本案有直接利害关系或者是有可能影响公正处理的其他关系，应当退出对案件的调查和处理。所谓与本案有直接利害关系，是指执法人员本人是当事人；或者是本案当事人的近亲属，案件处理的结果可能对其权益产生影响等情况。所谓可能影响公正处理的其他关系，是指除上述有利害关系以外的关系，如朋友关系、师生关系等，有可能利用这些关系影响对案件的公正处理的情况。行政诉讼法对回避程序规定，院长担任审判长时的回避，由审判委员会决定；审判人员的回避，由院长决定；其他人员的回避，由审判长决定。当事人对决定不服的，可以申请复议。根据这一规定的原则，实施行政处罚时执法人员以及其他人员的回避，由行政首长决定；行政首长的回避，由上一级行政机关决定。行政处罚法关于回避制度的规定，是为了保证行政处罚案件能够得到客观、公正的调查、处理。