Le secteur associatif regorge d’initiatives porteuses d’utilité sociale. Cependant le manque de compétences et d’accès à la formation des bénévoles en matière de suivi et d’évaluation de projets limite l’impact des actions, l’apprentissage des meilleurs pratiques et le devoir de transparence. Il en résulte une incompréhension entre les parties prenantes freinant le démarrage ou la conduite d’actions alors même que l’utilité sociale est unanimement reconnue.

Malgré un transfert de charge de l’état vers le monde associatif et le besoin de professionnalisation qui en résulte, l’offre de formation pour les bénévoles comme pour les salariés du monde associatif est insuffisante, inadaptée et inabordable.

Dans de nombreux secteurs (social, éducation, emploi, santé) des actions d’intérêt public autrefois administrés par l’Etat sont dorénavant assurées par des associations. D’autres part, ces associations qui fonctionnaient jusqu’à présent sur subventions publiques pour mettre en place des programmes motivés par leur objet social sont aujourd’hui appelées à répondre à des appels d’offre et placées de fait en situation de sous-traitants. Cette mise en concurrence avec le secteur privé place les associations dans une situation intenable:

• la logique financière du moins-disant prend le pas sur la satisfaction de l’usager

• le coût de conversion et d’adaptation à ces nouvelles compétences n’est pas assuré plaçant les bénévoles dans des situations d’échec ou de démotivation

• les méthodologies ou outils de pilotage de l’activité sont issus du monde de l’entreprise alors que des méthodologies d’évaluation (la gestion du cycle de projet) ou outils de mesure de l’utilité sociale adaptés existent

• les coûts de formation professionnelle (en moyenne 450€ par personne par jour) sont prohibitifs pour une structure de taille réduite

L’évaluation des projets porteurs d’utilité sociale est insuffisante

Malgré une pression croissante de l’ensemble des parties prenantes pour des évaluations systématiques et de qualité, force est de constater que les 3% des ressources totales préconisées pour répondre aux besoins de transparence, d’apprentissage et de pilotage des projets ne sont pas affectés. Les responsables de terrain sont insuffisamment formés à la gestion de projets. Les usagers insuffisamment consultés. Les agents publics chargés de la sélection des projets et de l’affectation des financements trop souvent cantonnés à des rôles de contrôle administratif et en charge d’une quantité de projets tel qu’elle n’autorise ni visites de terrain ni la nécessaire réflexion sur la pertinence, la cohérence ou l’impact de ces projets.

Source :

« L’évaluation des politiques publiques en Europe : cultures et futurs » Société Française de l’Evaluation 2008

Estimation des pratiques d’évaluation

Le nombre d’évaluations réalisées chaque année en France, dans l’ensemble des administrations publiques, se situe aux alentours de quelques centaines. Si l’on retient le chiffre d’environ 10 millions d’euros par an comme montant moyen de dépenses publiques analysées par évaluation, on obtient - pour une hypothèse de 500 évaluations par an - un total de 5 milliards d’euros de dépenses publiques soumises annuellement à évaluation. Rapporté au total des dépenses des administrations publiques (État, Sécurité sociale, collectivités territoriales) qui est de l’ordre de 1.000 milliards d’euros par an, on peut en déduire que la pratique actuelle de l’évaluation touche moins de 1 % de la dépense publique en France.

L’évaluation est une question de bon sens. Se poser régulièrement des questions simples mais essentielles. A quoi sert notre action ? Qui en sont les bénéficiaires ? Comment améliorer nos prestations? Nos efforts vont-ils dans la bonne direction ?

L’évaluation est une discipline. Pour structurer cette quête de bon sens, de nombreuses méthodologies se sont développées, certaines tout particulièrement adaptées aux programmes porteurs d’utilité sociale.

Le développement de l’évaluation a été remarquable depuis les années 90, multiplication des sociétés nationales d’évaluation, création de département ou bureau de l’évaluation dans la quasi-totalité des ONG’s et Organisations Internationales, augmentation du nombre de formations diplomantes liées à l’évaluation… Pour autant l’impact de l’évaluation dans la conception et mise en œuvre des projets d’utilité sociale demeure imperceptible.

Via le recueil de la diversité des points de vue et la participation des citoyens, l’évaluation renforce les processus démocratiques et est vecteur de changement.

L’ensemble des parties prenantes doit être mobilisé à la thématique et sensibilisé à la démarche. Le financement doit être intégré au cœur et au démarrage du projet. Le chantier est titanesque.

L’évaluation de l’impact avec des études de types «randomized controlled trial» se développent avec un certain succès depuis quelques années sous l’impulsion de chercheurs comme Esther Duflo. Néanmoins ces études sont très lourdes, très couteuses, nécessitent des échantillons conséquents, se poursuivent bien après la fin de l’action et sont, encore une fois, inaccessibles aux structures de taille moyenne.

Difficile donc de se prononcer sur l’impact de notre initiative. Néanmoins les finalités de l’évaluation nous permettent de nous prononcer sur l’impact attendu, via une évaluation systématique des programmes.

1/ Optimiser les réponses aux attentes des usagers et l’utilité sociale des projets dans son ensemble

2/ Identifier les innovation, les bonnes pratiques, apprendre à distinguer les approches qui marchent de celles qui ne marchent pas.

3/ Améliorer la capacité à rendre des comptes aux citoyens sur la manière dont une politique ou un projet à été mis en œuvre

L’association EVAL regroupe une plateforme d’expertise en évaluation de projets, unis par ce constat de déficit d’évaluation des politiques, programmes et projets d’utilité publique et particulièrement du manque d’analyse de l’attente et de la satisfaction des usagers.

Les associations

La démarche concerne en premier lieu les acteurs de l’ESS.

Il s’agit d’agir de manière transversale auprès d’institutions souhaitant s’engager dans des démarches participatives, coproduire leurs projets avec les usagers, mieux appréhender les processus auxquels ils participent: développer une vision partagée.

L’approche est basée sur l’utilisation; la mise en place du système d’évaluation a pour ultime objectif le mieux-être des bénéficiaires et de la société dans son ensemble.

Collectivités locales et administrations publiques

Les collectivités et administrations, en s’engageant auprès des porteurs de projets dans une démarche d’évaluation répondent à des impératifs variés:

Accompagner dans la mise en place d’une démarche d’évaluation et dans la logique de projet

Favoriser l’accès à la formation pour les acteurs associatifs

Encourager la concertation, la participation, le dialogue et la mise en réseau entre les parties prenantes

Impulser un système de collecte de l’information auprès des usagers permettant d’alimenter la réflexion stratégique locale.

Au-delà, la démarche sert bien-sûr une finalité déontologique et démocratique: la capacité à rendre des comptes aux citoyens sur la manière dont une politique ou un projet à été mis en oeuvre, l’optimisation des moyens de la collectivité sur le territoire et la qualité du service rendu aux usagés.

L’ensemble des parties prenantes doit être impliqués et sensibilisés:

Porteurs de projets associatifs

Usagers, bénéficiaires, citoyens

Collectivités locales et agents de l’état

Partenaires privés, fondations, mécénat

L’initiative s’articule autour de divers piliers:

Sensibiliser l’ensemble des parties prenantes à la pratique de l’évaluation

Favoriser l’accès à la formation pour les acteurs associatifs

Accompagner les structures dans la mise en place d’un système de suivi et d’évaluation

Inclure dès la conception du projet de 1 à 3% des ressources dédiées au système de suivi et d’évaluation

La démarche HQSE (Haute Qualité en Suivi et Evaluation) consiste à accompagner les chargés de programmes dans la mise en place d’un système de suivi et d’évaluation. Le label HQSE certifie que les programmes, projets ou actions intègrent la démarche HQSE tout au long du cycle de vie du programme.

La démarche HQSE s’articule autour de 4 concepts clés:

• Evaluation systématique et à minima de la pertinence, l’efficacité, l’efficience, l’impact et de la pérennité des projets à échéances déterminées

• L’auto-évaluation pour garantir l’adhésion et l’accessibilité à la démarche

• Implication, participation, collecte d’information auprès des usagers, placés au coeur de la démarche

• Budgétisation à la source de 1 à 3% des ressources annuelles au système d’évaluation

Une attention toute particulière est apporté à l’analyse des processus: les méthodes mises en place pour atteindre les objectifs sont-elles compatibles avec les valeurs de l’association?

Très peu de financement sont dédiés à la formation des bénévoles. A notre connaissance seul le Conseil du Développement de la Vie Associative finance de manière modeste des formations à destination des bénévoles (à hauteur de 25 € par jour et par bénévole, dans la limite de 5 jours de formation par bénévole et pour 25 bénévoles maximum) tout en excluant le financement de structure dont l’activité principale serait la formation des bénévoles…

Les structures de type Maisons des Associations, Missions d’Accueil et d’Information aux Associations, Centres de Ressources et d’information des bénévoles proposent une variété d’ateliers à destination des bénévoles, mais aucune spécifiquement dédiée à l’évaluation de projet.

Des formations spécifiques à l’évaluation de projets existent dispensés par des organismes de formation professionnelle mais donc les coûts restent inaccessibles pour des structures modestes.

Dans ce cadre EVAL préconise de consacrer 3% de l’ensemble des subventions publiques à la prise en charge des coûts de suivi et d’évaluation des actions. Ce budget servira aux actions de sensibilisation, de formation, de consultation des usagers, de suivi et d’évaluation interne, externe des programme tout en mettant l’accent sur l’auto-évaluation.

La démarche HQSE est financée via un cofinancement de l’ensemble des parties prenantes au projet.

Les associations assument des missions de service public sans

bénéficier des moyens et compétences indispensables à l’accomplissement de leurs missions; des outils issus du monde de l’entreprise sont plaqués sur les association alors que des outils spécifiques et appropriés sont disponibles.

Cette séance de sensibilisation m’a fortement questionnée. Je venais de passer d’un poste opérationnel sur le terrain à un poste plus stratégique au siège. Nous enchainions les réunions pour concevoir des nouveaux outils. Nous débattions sur les caractéristiques techniques de l’outil uniquement… sans jamais s’interroger sur l’utilité d’un tel outil, sa pertinence, son opportunité par rapport à d’autres besoins émis par les usagers…

Monique, responsable associative.