请问一下，在职教师，在B县工作，跟学校签约三年，县里面签约五年 请问一下，在职教师，在B县工作，跟学校签约三年，县里面签约五年，然后由于在B县上班后皮肤和身体一直生病，上班三年都在治病，县分管教育的领导和教委考虑到我的特殊情况同意调走，现在想调回自己家乡A县，交了两年的违约金，学校和教委都同意放人，但是人事和县部分领导不同意，我想请问一下这个有法律依据吗？