FORMATION EVALUATION DE PROJET (Rovaltain) LE 26 JUIN 2008
La Région Rhône-Alpes a souhaité apporter aux acteurs des CDRA et donc du CLD, un soutien sous forme de formation/information dans la mise en oeuvre opérationnelle de leur projet : des modules test de formation ont eu lieu au mois de juin et juillet.Voici le compte-rendu de la formation concernant l'évaluation de projet dans le cadre des nouvelles directives de la Région concernant l'évaluation des Contrats de Pays.
Evaluer
• Comment ?
Avec des OQADD : Outils de questionnement et d’analyse en matière de développement durable afin de vérifier qu’une action passée ou future répond aux exigences du développement durable.
On évalue à l’aide d’indicateurs pour mesurer l’avancement d’une action ou l’évolution des enjeux du territoire. Il s’agit de recréer le lien entre les actions et les projets de territoire car on a tendance à ne pas revenir assez systématiquement à la Charte de départ.
L’évaluation se fait tout au long du projet, car si elle intervient à la fin d’une action ce n’est plus une évaluation mais un bilan.
• Les outils :
Les grilles d’évaluation
Il faut définir les niveaux d’interrogation. Est-ce que l’on évalue une politique globale ou une action particulière ?
Il faut définir le moment de l’évaluation. Est-ce que l’on évalue avant un nouveau contrat ou une action, pendant le contrat ou la mise en œuvre d’une action, ou encore au terme d’un contrat ou d’une action ?
Définir une grille d’évaluation peut aussi servir à interroger sous l’angle du développement durable les propositions des porteurs de projets.
Exemples de grilles :
Si l’on évalue une action. On peut utiliser une notation mathématique, avec une pondération des éléments qualitatifs. A cet effet, on peut se référer à la « grille Midi-Pyrénées » disponible sur Internet.
Si l’on évalue une politique globale. On peut utiliser une notation qualitative, avec par exemple la « grille RAEE ».
Le cadre de référence reste toujours celui dicté par le MEDAD (Ministère de l'Écologie, de l'Energie, du Développement durable et de l'Aménagement du territoire) avec en trame de fond les cinq piliers du développement durable.
Les indicateurs et tableaux de bord
Un indicateur de pilotage est une information choisie en rapport à un phénomène, il est destiné à en observer les évolutions des enjeux du territoire, en rapport aux objectifs (norme NFX50-171).
Pour être légitime un indicateur doit répondre à des critères :
- De validité (par exemple si l’on considère « le taux de chômage », on se méfie des données peu représentatives, l’indicateur doit être une traduction fidèle et synthétique d’un phénomène).
- De mesurabilité (il faut trouver le chiffre le plus récent, le plus révélateur, et le accessible).
- De lisibilité (en limitant la diversité des interprétations possibles des dits indicateurs), de cohérence (dans le temps, le contexte, …).
Mais l’indicateur de pilotage n’est pas un chiffre brut, plutôt une information chiffrée qui vient illustrer un objectif du contrat, les indicateurs de pilotage renseignent sur une situation donnée.
Par rapport à ces critères, le temps d’élaboration d’un indicateur ne doit pas excéder une journée par an. Approximativement, une quinzaine d’indicateurs doivent suffire à agrémenter convenablement un tableau de bord.
Un indicateur d’action permet de suivre le déroulement et les résultats d’une action, ils sont les plus fréquemment utilisés. Les indicateurs de pilotage quant à eux doivent suivre les évolutions des domaines présentant un enjeu ou reflétant un objectif de la Charte.
Pour la création de l’Agenda 21, des outils d’évaluation ont été crées de façon participative, les indicateurs sont crées avec les citoyens, le tableau de bord avec les agents des collectivités.
Toute démarche commence avec une collection de données venant de différents services (Cf. Portail des territoires, INSEE, NEF). Il faut nommer ces données que l’on a décidé de partager en précisant leur année, leur lieu, leur coût, leur traçabilité, leur origine,… Parfois des données sont manquantes c’est aussi un constat qu’il est bon de relever. Ensuite ces données peuvent déboucher sur la création d’indicateurs, deux à trois indicateurs par objectif suffisent à détecter un phénomène précis.
L’approche sociologique
Analyse des apports collatéraux.
Ces outils sont complémentaires, le tableau de bord teste la cohérence des effets en rapport aux enjeux, le pilotage permet une hiérarchisation des priorités et un redéploiement de celles-ci. La grille d’évaluation permet une prise en compte du développement durable dans les actions et de leur pertinence au regard des enjeux.
• Qu’est-ce qu’on évalue ?
On peut évaluer les actions mais aussi la démarche voire tout le processus en cours.
Les objectifs peuvent être évalués au regard des évolutions du territoire.
• Par Qui?
C’est problématique, si ce sont ceux qui établissent et font vivre le contrat, qui évaluent l’objectivité peut être biaisée.
Une évaluation inter-CDRA est peu faisable politiquement parlant.
On peut alors faire appel à un bureau d’études, mais les financements ne sont peut être pas à la hauteur et il reste le risque que ces derniers apportent des conclusions en accord avec les dires des élus qui sont par ailleurs leurs clients.
L’évaluation ouverte semble être la solution, faisant appel à des regards croisés.
On peut penser à une « auto-évaluation assistée », mobilisant les acteurs des CDDRA et un bureau d’études qui fournira par exemple la méthodologie, les données,...
Alors, faire appel à l’avis citoyens via les CLD apparaît comme un levier de choix. Reste à ce que la Région et les acteurs des CDDRA fournissent aux Conseils Locaux de Développement les moyens de s’approprier la démarche d’évaluation des CDDRA.
• Pourquoi évaluer ?
L’évaluation n’est pas synonyme de sanction mais d’amélioration continue.
L’évaluation peut être une amorce de choix pour la mise en œuvre des prochains contrats.
Pour savoir où l’on en est ? Quels objectifs ont été atteints ou pas? Quelles en sont les retombées ? Quels sont les nouveaux objectifs à viser après une action ? Quels sont ceux qu’il faudra redéfinir, supprimer, renouveler,… ?
On peut se servir de l’évaluation comme un outil de sensibilisation, mais aussi pour faire le point.
Les résultats d’une évaluation peuvent déboucher sur une labellisation des CDDRA par l’Etat.
L’évaluation permet aux Contrats de Pays d’optimiser leurs actions au regard des impératifs de développement durable.
Les résultats des évaluations sont à valoriser, en amont la démarche doit être présentée et explicitée à tous les concernés. Il ne faut pas oublier de repositionner la démarche dans un contexte et avoir un regard critique en rapport au document évalué. Une évaluation n’est pas une notation, elle présente les résultats même décevants et mets en valeur les résultats encourageants. Il faut garder en tête un esprit de relativisation des résultats chiffrés qui ne reflètent qu’une partie de la réalité, celle que l’on aura voulu montrer.
On ne pourra jamais imputer directement les résultats de l’évaluation au contrat car il implique toute une dynamique locale, le lien de cause à effet est difficile à établir donc à relativiser.
Evaluer
• Comment ?
Avec des OQADD : Outils de questionnement et d’analyse en matière de développement durable afin de vérifier qu’une action passée ou future répond aux exigences du développement durable.
On évalue à l’aide d’indicateurs pour mesurer l’avancement d’une action ou l’évolution des enjeux du territoire. Il s’agit de recréer le lien entre les actions et les projets de territoire car on a tendance à ne pas revenir assez systématiquement à la Charte de départ.
L’évaluation se fait tout au long du projet, car si elle intervient à la fin d’une action ce n’est plus une évaluation mais un bilan.
• Les outils :
Les grilles d’évaluation
Il faut définir les niveaux d’interrogation. Est-ce que l’on évalue une politique globale ou une action particulière ?
Il faut définir le moment de l’évaluation. Est-ce que l’on évalue avant un nouveau contrat ou une action, pendant le contrat ou la mise en œuvre d’une action, ou encore au terme d’un contrat ou d’une action ?
Définir une grille d’évaluation peut aussi servir à interroger sous l’angle du développement durable les propositions des porteurs de projets.
Exemples de grilles :
Si l’on évalue une action. On peut utiliser une notation mathématique, avec une pondération des éléments qualitatifs. A cet effet, on peut se référer à la « grille Midi-Pyrénées » disponible sur Internet.
Si l’on évalue une politique globale. On peut utiliser une notation qualitative, avec par exemple la « grille RAEE ».
Le cadre de référence reste toujours celui dicté par le MEDAD (Ministère de l'Écologie, de l'Energie, du Développement durable et de l'Aménagement du territoire) avec en trame de fond les cinq piliers du développement durable.
Les indicateurs et tableaux de bord
Un indicateur de pilotage est une information choisie en rapport à un phénomène, il est destiné à en observer les évolutions des enjeux du territoire, en rapport aux objectifs (norme NFX50-171).
Pour être légitime un indicateur doit répondre à des critères :
- De validité (par exemple si l’on considère « le taux de chômage », on se méfie des données peu représentatives, l’indicateur doit être une traduction fidèle et synthétique d’un phénomène).
- De mesurabilité (il faut trouver le chiffre le plus récent, le plus révélateur, et le accessible).
- De lisibilité (en limitant la diversité des interprétations possibles des dits indicateurs), de cohérence (dans le temps, le contexte, …).
Mais l’indicateur de pilotage n’est pas un chiffre brut, plutôt une information chiffrée qui vient illustrer un objectif du contrat, les indicateurs de pilotage renseignent sur une situation donnée.
Par rapport à ces critères, le temps d’élaboration d’un indicateur ne doit pas excéder une journée par an. Approximativement, une quinzaine d’indicateurs doivent suffire à agrémenter convenablement un tableau de bord.
Un indicateur d’action permet de suivre le déroulement et les résultats d’une action, ils sont les plus fréquemment utilisés. Les indicateurs de pilotage quant à eux doivent suivre les évolutions des domaines présentant un enjeu ou reflétant un objectif de la Charte.
Pour la création de l’Agenda 21, des outils d’évaluation ont été crées de façon participative, les indicateurs sont crées avec les citoyens, le tableau de bord avec les agents des collectivités.
Toute démarche commence avec une collection de données venant de différents services (Cf. Portail des territoires, INSEE, NEF). Il faut nommer ces données que l’on a décidé de partager en précisant leur année, leur lieu, leur coût, leur traçabilité, leur origine,… Parfois des données sont manquantes c’est aussi un constat qu’il est bon de relever. Ensuite ces données peuvent déboucher sur la création d’indicateurs, deux à trois indicateurs par objectif suffisent à détecter un phénomène précis.
L’approche sociologique
Analyse des apports collatéraux.
Ces outils sont complémentaires, le tableau de bord teste la cohérence des effets en rapport aux enjeux, le pilotage permet une hiérarchisation des priorités et un redéploiement de celles-ci. La grille d’évaluation permet une prise en compte du développement durable dans les actions et de leur pertinence au regard des enjeux.
• Qu’est-ce qu’on évalue ?
On peut évaluer les actions mais aussi la démarche voire tout le processus en cours.
Les objectifs peuvent être évalués au regard des évolutions du territoire.
• Par Qui?
C’est problématique, si ce sont ceux qui établissent et font vivre le contrat, qui évaluent l’objectivité peut être biaisée.
Une évaluation inter-CDRA est peu faisable politiquement parlant.
On peut alors faire appel à un bureau d’études, mais les financements ne sont peut être pas à la hauteur et il reste le risque que ces derniers apportent des conclusions en accord avec les dires des élus qui sont par ailleurs leurs clients.
L’évaluation ouverte semble être la solution, faisant appel à des regards croisés.
On peut penser à une « auto-évaluation assistée », mobilisant les acteurs des CDDRA et un bureau d’études qui fournira par exemple la méthodologie, les données,...
Alors, faire appel à l’avis citoyens via les CLD apparaît comme un levier de choix. Reste à ce que la Région et les acteurs des CDDRA fournissent aux Conseils Locaux de Développement les moyens de s’approprier la démarche d’évaluation des CDDRA.
• Pourquoi évaluer ?
L’évaluation n’est pas synonyme de sanction mais d’amélioration continue.
L’évaluation peut être une amorce de choix pour la mise en œuvre des prochains contrats.
Pour savoir où l’on en est ? Quels objectifs ont été atteints ou pas? Quelles en sont les retombées ? Quels sont les nouveaux objectifs à viser après une action ? Quels sont ceux qu’il faudra redéfinir, supprimer, renouveler,… ?
On peut se servir de l’évaluation comme un outil de sensibilisation, mais aussi pour faire le point.
Les résultats d’une évaluation peuvent déboucher sur une labellisation des CDDRA par l’Etat.
L’évaluation permet aux Contrats de Pays d’optimiser leurs actions au regard des impératifs de développement durable.
Les résultats des évaluations sont à valoriser, en amont la démarche doit être présentée et explicitée à tous les concernés. Il ne faut pas oublier de repositionner la démarche dans un contexte et avoir un regard critique en rapport au document évalué. Une évaluation n’est pas une notation, elle présente les résultats même décevants et mets en valeur les résultats encourageants. Il faut garder en tête un esprit de relativisation des résultats chiffrés qui ne reflètent qu’une partie de la réalité, celle que l’on aura voulu montrer.
On ne pourra jamais imputer directement les résultats de l’évaluation au contrat car il implique toute une dynamique locale, le lien de cause à effet est difficile à établir donc à relativiser.
Aucun commentaire:
Enregistrer un commentaire