单位与员工 签订租车协议，现单位要解除租车协议 4年前，单位聘用了一位经理，由于当时单位没有车辆，且相关业务需要跑外，故当时和这位经理商议，为了为其报销开展业务过程中的油钱、过路费，单位与其签订一份租车协议，租用他个人车辆，并规定只报销与开展业务有关的费用。但是这几年由于相关也开展的比较好，这个经理心理上出现了变化，有些“唯我独尊”，将个人用车、车辆保险、车辆保养等与单位业务不相干的费用都拿到财务要求报销，单位均不予报销，由于是通过“关系”到的单位，之后几次大闹财务、相关领导要求必须报销，影响极不好。现在单位想和他解除租车协议（协议中没有明确租车期限），他绝不配合，不到单位签字。
我想问一下，这种情况，单位可以单方面解除这个租车协议（不用他到场，签字）吗？或者应怎么办才可以？