如果村卫生所是村委所建，也就是村集体所有的财产，村委会是有权收取租金的。不知道当初你在村卫生所时是否有与村委会签订合同，如果没有的话。村委会在告知情况后，一般来说是有权回收的。