“2015, het jaar van…”

Het jaar 2015 kan gezien worden als een overgangsjaar: de Millenniumdoelen lopen af, de Duurzame Ontwikkelingsdoelen komen er aan. Maar de manier waarop het succes (of falen) van de Millenniumdoelen bepaald wordt geeft een kortzichtig en plat meetinstrument, schrijft René Vermeulen in zijn eerste bijdrage voor Vice Versa. Landen kunnen vergeleken worden op basis van 60 indicatoren, maar wat zegt dat nu echt over het succes van het gedane (ontwikkelings)werk? Zegt bijvoorbeeld een ‘net enrolment rate’ van 83% genoeg over de kwaliteit van onderwijs? Welke lessen kunnen geleerd worden van het monitoren en evalueren van de Millenniumdoelen voor het ontwerp van de Duurzame Ontwikkelingsdoelen?

Na de pen gehanteerd te hebben voor het clubblad van mijn oude voetbalclub, verschillende blogs om de thuisblijvers op de hoogte te houden van mijn voluntourism en diverse pogingen tot (online) valorisatie van mijn masterscriptie, mag ik het komende jaar mijn gedachtespinsels op de ViceVersa website plaatsen. Voor dit eerste blog wil ik jullie graag meenemen naar “2015, het jaar van…”. Het is en wordt een bijzonder (en) interessant jaar, maar waar wordt dit jaar het jaar van?

Een snelle zoekopdracht levert een breed scala aan antwoorden op, waaronder ‘het jaar van het licht’, ‘het jaar van de geit’ (of was het toch ‘het schaap’?) en ‘het jaar van de bodem’. Naast deze varianten is er ook ‘2015, het internationale jaar van de evaluatie’. Echt waar. De Verenigde Naties heeft 2015 dus uitgeroepen tot EvalYear, hartstikke mooi en interessant voor mensen de veel met Monitoring en Evaluatie bezig zijn (zoals ik). Bekeken vanuit de planning van de Millenniumdoelen is dit ook vrij logisch. 2015 markeert het einde van deze variant van ontwikkelingsdoelen, voordat we overgaan tot de Duurzame Ontwikkelingsdoelen. Genoeg te evalueren dus, maar wat hebben we daar eigenlijk aan?

Het initiatief voor EvalYear belooft al met al heel wat voor de rol van Monitoring & Evaluation: een belangrijke katalysator voor dialoog en actie op allerlei niveaus voor rechtvaardige en duurzame human development, het levert bewijsstukken voor beleidsontwikkeling, -ondersteuning en controle. Evaluatie krijgt dan ook een sleutelpositie bij de ontwikkeling en uitvoering van de Duurzame Ontwikkelingsdoelen. Deze beloftes klinken uiteraard geweldig, maar het schiet voorbij aan een belangrijk punt: wat wordt er geëvalueerd en gemonitord? En hoe.

Succes van Millenniumdoelen en lessen voor SDG

Wanneer we met een M&E bril kijken naar de voorganger van de Duurzame Ontwikkelingsdoelen, de alom bekende Millenniumdoelen, dan valt op dat het bepalen van succes van de doelen vrij ‘plat’ gedaan wordt. Eigenlijk wordt succes alleen bepaald door 60 ‘harde’ indicatoren: feiten en cijfers. Bijvoorbeeld voor Millenniumdoel 2 (‘universele basiseducatie’). Dit doel wordt gemeten aan de hand van drie indicatoren: enrolment rate (hoeveel kinderen staan ingeschreven?), survival rate (iets minder luguber dan het klinkt: hoeveel kinderen halen het eind van de basisschool t.o.v. het aantal kinderen dat start in groep 1?) en literacy rate (geletterdheidvan 15-24 jarigen). Dit zijn sec kwantitatieve indicatoren: er kunnen feiten en cijfers aan gehangen worden (als er betrouwbare informatie beschikbaar is) en dan is inzichtelijk in hoeverre ze gehaald zijn. Maar wat zegt dit over de kwaliteit van het onderwijs in een land, een regio of over de hele wereld?

Het doel en het succes van de Millenniumdoelen, en ook het bestaan van de Millenniumdoelen op zichzelf, is al vaker bekritiseerd. De Duurzame Ontwikkelingsdoelen wacht een misschien wel kritischere ontvangst na de lessen van de Millenniumdoelen. Deze week schreef Jan Vandermoortle op de ViceVersa website een interessant stuk over de 3 B’s van de Millenniumdoelen: Begrijpbaar, Beknopt en Becijferbaar. Tegenover deze succes-B’s plaatst hij een drietal O’s van de Duurzame Ontwikkelingsdoelen: Onduidelijk, Overladen en Onmeetbaar. De O’s worden gekwalificeerd als ‘nefast’, wat zich laat vertalen met variaties van ‘schadelijk’ tot ‘rampzalig’. Ik ben het eens met de door hem geïdentificeerde succes-B’s van de Millenniumdoelen, deze zaken hebben zeker bijgedragen aan de succesvolle wereldwijde acceptatie van de Millenniumdoelen.

Desalniettemin, wil ik graag een kanttekening plaatsen bij de invloed van de laatstgenoemde succes-B. Want wat hebben we nou eigenlijk aan al dat monitoren van uitsluitend meetbare resultaten? Dit ‘plat slaan’ van effecten van interventies vergelijkt en presenteert misschien leuk, maar wat zegt het over het echte succes (of falen) van ontwikkelingssamenwerking?

Van planning naar results

De behoefte aan harde feiten en cijfers om beslissingen op te baseren en beleid op te kunnen maken is zeer groot. Globaal is het denken in ontwikkelingssamenwerking ook steeds meer gericht op results en het daarbij horende management. De Paris Declaration on Aid Effectiveness uit 2005 en de daarop volgende Accra Agenda for Action uit 2008 klinken vast niet onbekend. Door deze wereldwijde agenda ontstond een grote verschuiving van de voorgaande planmatige aanpak in de richting van results-based management. Zoals de Paris Declaration zegt: “Developing countries and donors shift focus to development results and results get measured.” De Accra Agenda leest: “Aid is focused on real and measurable impact on development”. Dus: meten, meten, meten! Maar daar wordt het lastiger, want wat kun je meten? Impact meten is nagenoeg onmogelijk en outcomes meten is ook vrij lastig. Daarentegen, output kun je wel meten met behulp van indicatoren: wat is er gedaan en wat is er feitelijk veranderd?.

Resultaten op basis van indicatoren

Om terug te komen op mijn voorbeeld aangaande Millenniumdoel 2: in mijn master scriptie heb ik een poging gedaan de kwaliteit van basisonderwijs in een district in Noord-Oeganda en de factoren die daarop van invloed zijn in kaart te brengen. Kijkend naar de kwaliteitsindicatoren van de Millenniumdoel 2 toont het MDG progress report de volgende meetbare resultaten voor de kwaliteit van het basisonderwijs in Oeganda: net enrolment rate 83%, survival/completion rate 56% (maar wanneer aangepast voor kinderen die dit in de daarvoor gestelde tijd behalen is dit 5%) en literacy rate 76%. Oeganda is dan ook niet op weg om dit Millenniumdoel te gaan halen. De Millenniumdoelen hebben een framework gecreëerd waarmee alle landen langs dezelfde meetlat wordt gelegd. Een beetje zoals de beroemde cartoon waarin aan een olifant, een vis, een hond, een zeehond, een pinguïn en een aap de opdracht gegeven wordt om in een boom te klimmen. Voor een eerlijke beoordeling.

Wat zegt dat over de kwaliteit van het basisonderwijs in Oeganda? Op zijn zachtst gezegd: vrij weinig. Het is mogelijk om met deze simpele cijfers te kijken waar Oeganda ongeveer staat ten opzichte van andere landen, maar het geeft weinig inzicht in het succes of falen van (onderwijs)interventies en al helemaal niet in duurzame human development. Om deze punten te kunnen evalueren is er veel meer kwalitatieve informatie nodig. Die informatie ligt zeker ten grondslag aan de cijfers die eenvoudig op te rakelen zijn, maar die slaan de indicatoren van de Millenniumdoelen volledig over. Bijvoorbeeld het gedrag van leerkracht (aanwezigheid, lesmethode, etc), de kwaliteit van het schoolmateriaal (niet alleen het aantal boeken, ook de inhoud is belangrijk) of de toegang tot (sanitaire) voorzieningen voor, in het bijzonder, puberende meisjes. Dat zijn zaken die uiteindelijk van invloed zijn op enrolment, completion en literacy, maar daar kijken de Millenniumindicatoren dus niet naar.

Lessen van Millenniumdoelen voor de Duurzame Ontwikkelingsdoelen

De becijferbaarheid van de Millenniumdoelen is dan misschien één van de succesfactoren voor de globale agenda, het zegt uiteindelijk niet zo veel over het succes van ontwikkelingssamenwerking. Evaluatie methodes die daarvoor mogelijk opties bieden zijn bijvoorbeeld Outcome Mapping of Appreciative Inquiry. Bij OM wordt gepland, gemonitord of geëvalueerd, aan de hand van zogenoemde progress markers, kan er met behulp van verschillende dataverzamelingsinstrumenten zowel kwantitatieve als kwalitatieve informatie verzameld worden. Dat geeft veel meer inzicht in veranderingen in gedrag, acties en relaties.

Misschien biedt de door Vandermoortle geïdentificeerde onmeetbaarheid van de Duurzame Ontwikkelingsdoelen ruimte voor een andere benadering van het meten van de verandering die behaald is. En misschien is outcome mapping wel het nieuwste (of al niet zo nieuw meer) modewoord in ontwikkelingssamenwerking, zeker blijft dat er kwalitatieve informatie nodig is om echt inzicht te krijgen in verbeteringen voor een rechtvaardig en duurzame human development. Zal het iets veranderen aan de Duurzame Ontwikkelingsdoelen? Ik denk het niet, maar het is nog niet in beton gegoten.

René Vermeulen heeft de papieren om zichzelf zowel basisschoolleraar als sociaal geograaf te noemen. Hij werkt graag op het raakvlak tussen theorie en praktijk en doet dat momenteel bij MDF Training & Consultancy. Daar houdt hij zich bezig met Monitoring, Evaluation & Learning en Capacity Building en maakt zich druk om onderwijs en ontwikkelingsamenwerking. Voor ViceVersa zal hij dit jaar met tweemaandelijkse frequentie zijn licht laten schijnen over onderwerpen die daaraan verwant zijn.

Auteur
Rene Vermeulen

Datum:
02 maart 2015
Categorieën: