Suivi, évaluation et apprentissage
Introduction
La composante « Suivi, évaluation et apprentissage » du Plan de l’AIC porte sur l’élaboration de stratégies et d’outils pour le suivi de l’évolution de la mise en œuvre, l’évaluation de l’impact, ainsi que la facilitation de l’apprentissage itératif afin d’améliorer la planification et la mise en œuvre de l’AIC. Elle propose des processus et des produits en vue d’appuyer la réalisation et la documentation des objectifs des programmes et la gestion adaptative de la mise en œuvre. Cette composante cible essentiellement les concepteurs et les gestionnaires de programmes et de projets.
L’AIC agrège les résultats d’efforts individuels déployés en vue d’atteindre un ensemble d’objectifs communs pour un système alimentaire plus productif, résilient et à faible émission. Bien que l’ampleur et la portée des activités diffèrent manifestement, celles-ci peuvent toutes concourir à la réalisation des objectifs de l’AIC. Le principe fondamental qui sous-tend la composante « Suivi, évaluation et apprentissage » du Plan de l’AIC est que l’AIC est un gradient et non un aboutissement, et qu’elle est spécifique au contexte (lieu et moment). Le triple avantage de productivité, résilience et d’atténuation peut être irréalisable ou ne pas être considéré comme une priorité partout. Ceci signifie que les normes de performance et d’apprentissage doivent viser un objectif social particulier et être spécifiques au moment et au lieu. Cette condition préalable à la définition d’objectifs clairs est généralement éclairée par l’Étape 1 du Plan de l’AIC (« Analyse de situation ») et être remplie à l’Étape 2 (« Ciblage et hiérarchisation »).
Les résultats sont mesurés au moyen d’indicateurs et de paramètres en vertu desquels au moins deux principes clés doivent être pris en compte :
- Il doit y avoir une série minimale d’indicateurs de haut niveau suivis dans le cadre de l’ensemble des programmes afin de faciliter la mesure et de favoriser la comparabilité. Une résolution plus élevée et des indicateurs supplémentaires plus spécifiques peuvent être importants pour des projets spécifiques. Il importe de souligner qu’il existe de nombreux groupes à travers le monde (par exemple la Banque mondiale et le CCAFS, voir les cas) qui s’emploient à définir cette série d’indicateurs de haut niveau dont la publication initiale est attendue en avril 2016.
- Les indicateurs doivent être « SMART » : simples, mesurables, précis, fiables et limités dans le temps, permettant d’assurer le suivi de la performance et de l’évolution de l’état.
L’approche de la composante « Suivi, évaluation et apprentissage » du Plan de l’AIC utilise un processus simple en trois étapes pour aider à déterminer quel type de mesures, d’indicateurs et d’approches de suivi sont indiqués pour un contexte donné. L’arbre de décision à la Figure 1 permet de déterminer les catégories d’indicateurs pertinents de l’AIC. Souvent, la mise en œuvre de l’AIC pendant tout le cycle de vie du programme exige toutes les trois catégories (ou cas d’utilisation) suivantes d’indicateurs :
Figure 1 : Arbre de décision simple pour déterminer les cas d’utilisation à retenir. En règle générale, vous devrez choisir et utiliser des indicateurs de chaque groupe pendant tout le cycle de vie du projet. Chaque cas d’utilisation est décrit ci-dessous. À partir d’une vaste base de données d’indicateurs, le CCAFS, en collaboration avec l’Initiative alimentaire pour l’avenir de l’USAID, a mis au point un nouvel outil de planification des projets et des indicateurs de l’AIC (voir Outil de programmation et d’élaboration d’indicateurs de l’AIC).
Cas d’utilisation des indicateurs du Plan de l’AIC pour le cycle de vie d’un projet :
- Indicateurs de l’état de préparation
- Indicateurs de processus
- Indicateurs de progrès/impact
Indicateurs de l’état de préparation : le premier cas d’utilisation consiste à déterminer l’état de préparation pour une intervention d’AIC. L’état de préparation est d’autant plus important que l’AIC exige beaucoup de structures d’appui pour la réussite et, parfois, l’intervention nécessite un renforcement de capacités préliminaire pour préparer le lieu d’implantation ou la population cible. Les indicateurs de l’état de préparation doivent être liés au type d’intervention conçu (voir Étude de cas 3). Par exemple, pour un projet qui souhaite mettre à échelle l’agroforesterie dans l’Ouest du Kenya, il sera important de connaître des éléments tels que l’état du système de vulgarisation, le réseau de pépinières, le régime foncier, etc. Les besoins d’informations peuvent être très différents de ceux d’une intervention visant à concevoir un système d’alerte précoce ou un régime d’assurance.
Indicateurs de processus : le Plan de l’AIC préconise des processus inclusifs, transparents et pertinents pour permettre une gestion adaptative, l’apprentissage et le suivi de la mise en œuvre du projet. Les indicateurs axés sur les processus permettent d’évaluer les programmes afin de veiller à ce qu’ils répondent aux objectifs de l’AIC et à ceux prévus. Certains indicateurs de la composante « Suivi, évaluation et apprentissage » du Plan de l’AIC donnent un aperçu des processus de mise en œuvre, notamment la diversité et la prise en compte du genre dans la composition de l’équipe, le nombre et la qualité des interactions avec les communautés et la présentation en temps opportun des rapports. Bien que souvent négligés dans de nombreux programmes de développement, le Plan de l’AIC propose que l’importance de ces indicateurs ne puisse pas être sous-estimée, étant donné qu’ils assurent des processus justes, équitables et transparents.
Indicateurs de progrès/impact : l’une des principales caractéristiques distinctives de cette composante du Plan de l’AIC est la nécessité de comprendre l’impact sur l’ensemble des trois objectifs. On peut utiliser les indicateurs de moyens (intrants) ou de résultats pour mesurer les progrès ou l’impact. Les indicateurs de moyens reposent, en général, sur des hypothèses concernant les relations entre les activités dans un résultat. Par exemple, l’adoption de l’agriculture de conservation augmente la résilience aux sécheresses intra-saisonnières où l’utilisation d’engrais azotés affecte les émissions d’oxyde nitreux. Bien qu’ils puissent être suivis, dans de nombreux cas, les relations entre les moyens et les résultats ne sont pas bien documentés ou sont spécifiques au site. Ainsi, l’ampleur du changement est difficile, voire impossible à déterminer. Autrement, il est possible de mesurer les indicateurs directs des résultats dignes d’intérêt (voir les Études de cas 1 et 2). De nombreux indicateurs individuels peuvent décrire chaque pilier. Par exemple, la productivité peut être illustrée par l’évolution du rendement, des calories ou du revenu (voir « Mesure de la productivité » ci-dessous), ou l’atténuation peut être caractérisée par la séquestration du carbone ou les émissions de gaz à effet de serre par unité de produit (voir « Mesure de l’atténuation » ci-dessous). Il existe davantage de difficultés en ce qui concerne les indicateurs de résilience, les indicateurs approximatif et de processus étant couramment utilisés (voir « Mesure de l’adaptation et de la résilience » ci-dessous). La diversité des indicateurs liés à la productivité et à l’atténuation, ainsi que la variété des opinions et options d’indicateurs pour la résilience renforcent davantage la nécessité de convenir des indicateurs avec les utilisateurs finaux dans un processus participatif afin qu’ils prennent en compte leurs objectifs (voir boîtes à outils pour d’autres références).
Ressources clés
Gujit I, Woodhill J. 2002. Managing for impact in rural development. Rome, Italy: IFAD.Gestion axée sur l’impact dans le développement rural.
https://www.ifad.org/documents/10180/17b47fcb-bd1e-4a09-acb0-0c659e0e2def
Ce guide vise à aider les gestionnaires de projets et le personnel de S&E à améliorer la qualité du S&E dans le cadre des projets financés par le FIDA. Il met l’accent sur la manière dont le S&E peut appuyer la gestion des projets et permettre aux parties prenantes de comprendre l’évolution du projet, de tirer des enseignements des réalisations et des problèmes rencontrés, ainsi que de convenir des voies et moyens d’améliorer la stratégie et les opérations.
Les principales fonctions de S&E consistent à : assurer une réflexion critique axée sur l’amélioration, apprendre à optimiser l’impact des projets de développement rural et montrer cet impact afin de faire preuve de sa responsabilité. Le Guide vise à améliorer le S&E au titre des projets financés par le FIDA, étant donné qu’une étude a révélé que la plupart des projets ont un niveau de S&E assez faible. Il prodigue des conseils détaillés sur la manière de mettre en place et en œuvre un système de S&E et expose les idées de base qui sous-tendent les suggestions.
World Bank. 2004. Monitoring and evaluation (M&E): Some tools, methods & approaches. Washington, DC: World Bank.Suivi et évaluation (S&E) : quelques outils, méthodes et approches.
http://www.worldbank.org/oed/ecd/tools/
Les responsables gouvernementaux, les gestionnaires du développement et la société civile sont de plus en plus conscients de l’importance du suivi et de l’évaluation (S&E) des activités de développement. Le S&E constitue un meilleur moyen de tirer des leçons de l’expérience, d’améliorer la fourniture de services, de planifier et affecter les ressources, ainsi que de démontrer la responsabilité des principales parties prenantes dans l’atteinte des résultats. Cependant, il existe souvent une confusion sur ce que le S&E implique. Cette brochure présente, par conséquent, un échantillon d’outils, de méthodes et d’approches de S&E, y compris plusieurs méthodes de collecte de données, des cadres d’analyse et des types d’évaluation et d’examen. Pour chacun d’eux, un résumé est fait en ce qui concerne les éléments suivants : le but et l’utilisation ; les avantages et inconvénients ; les coûts, les compétences et le temps nécessaires ; et les références clés.
UNFCCC. 2010. Synthesis report on efforts undertaken to monitor and evaluate the implementation of adaptation projects, policies and programmes and the costs and effectiveness of completed projects, policies and programmes, and views on lessons learned, good practices, gaps and needs. Subsidiary Body for Scientific and Technological Advice 32nd session. Bonn, 31 May to 9 June 2010. Bonn, Germany: UNFCCC.Rapport de synthèse sur les efforts déployés pour assurer le suivi et l’évaluation de la mise en œuvre des projets, politiques et programmes d’adaptation, ainsi que les coûts et l’efficacité des projets, politiques et programmes achevés et les points de vue concernant les enseignements tirés, les bonnes pratiques, les déficits et les besoins.
http://unfccc.int/resource/docs/2010/sbsta/eng/05.pdf
Ce document est une synthèse des informations contenues dans les communications des Parties et des organisations, ainsi que dans d’autres sources pertinentes, sur les efforts entrepris pour assurer le suivi et l’évaluation de la mise en œuvre des mesures d’adaptation, y compris les projets, politiques et programmes. Il fait la synthèse des efforts déployés dans ce domaine et fait un rapport sur l’élaboration et l’utilisation des indicateurs d’adaptation. Il contient un résumé des leçons apprises, des bonnes pratiques, des lacunes et des besoins, et conclut en posant les problèmes aux fins d’un examen plus approfondi.
Lamhauge N, Lanzi ER, Agrawala S. 2012. Monitoring and evaluation for adaptation: Lessons from development co-operation agencies. OECD Environment Working Paper No. 38. Paris, France: OECD Publishing.Suivi et évaluation pour l’adaptation : leçons apprises par les agences de coopération au développement.
http:// dx.doi.org/10.1787/5kg20mj6c2bw-en
Dans le contexte de l’accroissement du financement pour l’adaptation aux changements climatiques, il est plus important que jamais d’assurer l’efficacité, l’équité et l’efficience des interventions d’adaptation. Un solide suivi et évaluation (S&E) en constitue une composante essentielle, tant pour veiller à ce que les avantages potentiels des interventions soient réalisés que pour aider à améliorer la conception des interventions futures. Ce document est la première évaluation empirique des cadres de S&E utilisés par les organismes de coopération au développement pour les projets et programmes comportant des composantes spécifiques d’adaptation ou liés à l’adaptation. Il a analysé 106 documents de projet de six organismes bilatéraux de développement. Sur cette base, il identifie les caractéristiques du S&E pour l’adaptation et partage les leçons apprises concernant le choix et l’utilisation des indicateurs pour l’adaptation.
Colomb V, Bernoux M, Bockel L, Chotte J-L, Martin S, Martin-Phipps C, Mousset J, Tinlot M, Touchemoulin O. 2012. Review of GHG calculators in agriculture and forestry sectors: A guideline for appropriate choice and use of landscape based tools. Rome, Italy: Food and Agriculture Organization of the United Nations.Examen des calculateurs de GES dans les secteurs de l’agriculture et de la foresterie : orientation pour un choix et une utilisation appropriés des outils axés sur le paysage.
http://www.fao.org/fileadmin/templates/ex_act/pdf/ADEME/Review_existingGHGtool_VF_UK4.pdf
Les changements climatiques et leurs conséquences sont désormais reconnus comme faisant partie des grands défis environnementaux de ce siècle. Les activités axées sur la terre, principalement l’agriculture et la foresterie, peuvent être à la fois sources et puits de gaz à effet de serre (GES). Dans la plupart des pays, elles représentent une part importante des émissions totales de GES, soit environ 30 % à l’échelle mondiale. Afin d’atteindre les objectifs mondiaux ou nationaux de réduction des émissions, ainsi que pour relever les défis liés à la sécurité alimentaire, l’agriculture et la sylviculture doivent évoluer. Parallèlement aux travaux du GIEC et aux progrès liés aux questions méthodologiques, de nombreux outils relatifs aux GES ont été mis au point récemment en vue d’évaluer les pratiques agricoles et forestières. Denef et al. (2012) classent ces outils comme des : calculateurs, protocoles, lignes directrices et modèles. Cette revue porte sur les calculateurs, c’est-à-dire les outils de calcul automatisés en ligne, sous Excel ou axés sur d’autres logiciels, mis au point pour quantifier les émissions de GES ou la réduction des émissions dues aux activités agricoles et forestières. Elle se penche sur les calculateurs utilisés à l’échelle du paysage/de l’exploitation comprenant plusieurs productions : les cultures, l’élevage et la forêt. Dix-huit principaux calculateurs ont été identifiés, au nombre desquels figurent EX-ACT, CLIMAGRI, Cool Farm Tool, Holos, USAID FCC et ALU.
Approches et outils
Dans cette section, nous allons décrire les approches, les outils et les cas de sélection qui orientent et illustrent tout un processus ou facilitent des éléments spécifiques du processus.
Le CCAFS a créé une base de données de plus de 378 indicateurs liés à l’AIC recueillis auprès de plusieurs organismes internationaux de développement (FAO, DFID, GIZ, ASAP-FIDA, Banque mondiale, USAID) afin d’élaborer un outil de programmation et d’indicateurs de l’AIC d’accès public pour contribuer à répondre au besoin aussi bien de bons instruments pour la programmation de l’AIC et que de meilleures paramètres pour le suivi des résultats et des impacts. L’outil propose un cadre commun pour les programmes agricoles afin : i) de déterminer la mesure dans laquelle l’intervention/les interventions actuelle(s) ou prévue(s) répond(ent) à l’objectif de chaque pilier de l’AIC ; ii) de comparer la portée et l’intentionnalité de l’AIC entre les différentes conceptions de projets pour rendre les programmes futurs plus intelligents face au climat ; et iii) d’appuyer l’identification et la sélection d’une série appropriée d’indicateurs pour mesurer et assurer le suivi des résultats liés à l’AIC.
Indicateurs de l’état de préparation
Indicateurs de progrès
References
-
1
Wollenberg E, Zurek M, De Pinto A. 2015. Climate readiness indicators for agriculture. CCAFS Info Note. Copenhagen, Denmark: CGIAR Research Program on Climate Change, Agriculture and Food Security (CCAFS).
https://cgspace.cgiar.org/bitstream/handle/10568/68685/CCAFS%20info%20note%20readiness%20indicators%20Oct%202015%20final%20A4%20%281%29.pdf?sequence=11&isAllowed=y Les capacités techniques et financières dont disposent les pays pour se préparer aux changements climatiques dans l’agriculture et établir un équilibre entre les objectifs de sécurité alimentaire, d’adaptation et d’atténuation sont différentes. Les indicateurs de l’état de préparation aux changements climatiques donnent des orientations aux pays et permettent d’assurer le suivi des progrès réalisés. Les évaluations de l’état de préparation peuvent permettre aux bailleurs de fonds, aux investisseurs et aux décideurs nationaux d’identifier les domaines où les investissements sont nécessaires ou susceptibles d’être couronnés de succès. Des exemples d’indicateurs de l’état de préparation aux changements climatiques sont fournis pour cinq domaines de travail, à savoir : 1) la gouvernance et l’engagement des parties prenantes ; 2) les connaissances et les services d’information ; 3) la stratégie et les cadres de mise en œuvre de l’agriculture intelligente face au climat ; 4) les capacités nationales et infranationales ; et 5) les systèmes nationaux d’information et de comptabilité. -
2
IFAD. 2012a. Adaptation for Smallholder Agriculture Programme (“ASAP”) Programme Description. Rome, Italy: International Fund for Agricultural Development.
http://www.ifad.org/climate/asap/note.pdf L’ASAP est un nouveau point d’entrée directe du FIDA pour canaliser le financement affecté au climat et à l’environnement vers les petits exploitants agricoles. Les fonds de l’ASAP serviront à cofinancer les projets en utilisant des critères de sélection clairs et en appliquant un cadre de résultats qui comprend 10 indicateurs de réalisation spécifiques et mesurables. Un élément important de l’ASAP sera un programme de gestion du savoir qui permettra d’élaborer et de partager des leçons et des outils d’adaptation aux changements climatiques dans tous les programmes du FIDA et avec des partenaires extérieurs clés. Sur la base d’un système de suivi et d’évaluation approfondi, on s’attend à ce que ceci démontre l’intérêt qu’il y a à investir le financement du climat en faveur des petits exploitants agricoles au Fonds vert pour le climat et à d’autres initiatives liées au climat. Les domaines d’investissement sont déterminés par les besoins identifiés par les communautés partenaires.