Deel 1/5 Wat meten we?

In deze vijfdelige serie geeft Lieke Ruijmschoot tien tips die haar en medecursisten het meest zijn bijgebleven van trainingen over Planning, Monitoring en Evaluatie die door het IOB werden georganiseerd in de afgelopen jaren. In deel 1 tipt zij over het meten van outcome in plaats van output, en over het belang van een goede Theory of Change.

De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) heeft twee keer een training over het (laten) uitvoeren van evaluaties in de ontwikkelingssamenwerking georganiseerd; in maart 2013 en november 2014. Hiervoor werden alle evaluatieverantwoordelijken van de MFS II allianties uitgenodigd, en ook medewerkers van verschillende departementen van het Ministerie van Buitenlandse Zaken die zich met evalueren bezighouden; een gemengde groep van 30 PME-ers leerde elkaar zo kennen.

De trainers waren de Amerikaanse Linda Morra Imas en Ray Rist van het International Program in Development Evaluation Training (IPDET) in Canada, waar jaarlijks verschillende lange en kortere Monitoring & Evaluation trainingen gegeven worden. Een droogkomisch duo, dat ons vijf volle dagen vermaakte en inspireerde met hun uitgebreide kennis, visuele anekdotes en stellige meningen.

Enkele maanden later was ik bezig met het opstellen van een Terms of Reference voor een midterm evaluatie van de Fair, Green and Global Alliance en wilde ik mijn geheugen opfrissen. Ik vroeg mijn medecursisten welke inzichten hen het meest waren bijgebleven, en zij reageerden in grote getalen. Nu er weer volop wordt nagedacht over Planning, Monitoring en Evaluatie (PME) systemen voor de toekomstige partnerschappen, vat ik hierbij onze top tien lessen voor het organiseren van evaluaties samen in de woorden van Ray en Linda. Bij dezen tip 1 en 2: wat meten we eigenlijk in evaluaties?

Tip 1. ‘Busy busy busy’ – outcome in plaats van output

Een dwaling die ngo’s jarenlang in hun monitoring maakten, en nog steeds, meent Ray, is dat zij zich richten op outputs. Oftewel, ze gebruiken rapporten om aan te tonen hoe druk ze zijn met het uitvoeren van activiteiten. Zoveel trainingen, zoveel rapporten, zoveel events, zoveel putten; o, wat zijn we toch druk! Busy, busy, busy! Pas rond de eeuwwisseling kwam de broodnodige focus op de resultaten van al die activiteiten, de outcomes. Ray en Linda definiëren outcomes daarbij als ‘veranderingen in gedrag’, een subtiel verschil met de OESO definitie van ‘het eindeffect van een output’, en daarmee dichter bij de Outcome Mapping-benadering. Dit vergt natuurlijk een andere evaluatiebenadering dan bijvoorbeeld het puur monitoren van de uitgaven. Je wilt niet alleen weten wat er is gebeurd, maar ook waarom: de ‘so what?’ vraag. Pas als je iets kan zeggen over outcomes, wordt je evaluatie een nuttige management tool. ‘This is a political process with technical dimensions, not vice versa’, bepleit ook Hannah Ryder van DFID.

De focus op outcomes betekent dus niet alleen het links laten liggen van outputs, maar ook van het tegenwoordig zo populaire impact. Het bepalen van impact zou volgens Ray en Linda zelden het doel van een evaluatie moeten zijn. Ook de definitie van impact hangt af van wie je spreekt: als economen het over een impactevaluatie hebben bedoelen ze (quasi-)experimenteel onderzoek waarbij gekeken wordt naar een effect op de doelgroep op outcome-niveau. Sociologen hebben het over impact als gekeken wordt naar lange termijn effecten of effecten op de maatschappij. Maar de conclusie van de IPDET training was: je leert meestal veel meer over hoe succesvol je bent in het bereiken van een verandering – en vooral waarom – door te evalueren op outcome-niveau, dan door het opzetten van een heel ingewikkeld, tijd- en middelenintensieve impactevaluatie.

Tip 2. A ToC ≠ reality

Onmisbaar om resultaten te kunnen beoordelen, is volgens Ray en Linda het hebben van een expliciete theorie van verandering (Theory of Change, ToC). Om een programma te evalueren moet de uitvoerder kunnen uitleggen wat de voorspelde relatie tussen zijn activiteiten en de doelstellingen waren. Als zo’n theorie nog niet op papier staat op het moment dat je aan een evaluatie begint, is het reconstrueren van de ToC stap één. Deze tip was voor ons niet zozeer nieuw – het begrip ToC is behoorlijk ingeburgerd in M&E land – en zoals we allemaal weten heeft het Ministerie van Buitenlandse Zaken het kort daarna zelfs verplicht gesteld als onderdeel van de voorstellen voor een strategisch partnerschap. Ray verklaarde dat alleen een sterke ToC of een goede uitvoering (worden activiteiten volgens plan geïmplementeerd?), niet voldoende is voor goede resultaten. Beide zijn nodig. Als je slechts één van beide monitort, zal je nooit weten of succes of falen door jouw programma komt of niet. Pas als er een goed doordachte, expliciete ToC aan je programma ten grondslag ligt, én je hard kunt maken dat dat programma naar behoren wordt uitgevoerd, kan je succes vaststellen. Hij verklaarde dit aan de hand van de volgende simpele doch heldere matrix:

Kortom, je moet wel monitoren hoe goed je je programma uitvoert, en zorgen dat dat goed gebeurt: are you doing things right? Dit lijkt een open deur, maar in de praktijk gebeurt het maar al te vaak dat een evaluator wordt gecontracteerd tegen het eind of zelfs na een programma, en dat dan blijkt dat essentiële gegevens over de uitvoering niet gedurende het programma zijn gemonitord. Zie er als evaluator dan maar iets over te zeggen. Daarnaast is het belangrijk om gedurende je interventie ook je aannames te checken. Om echt te weten of je effectief bent moet je namelijk je Theory of Change, die in feite de relatie uitlegt tussen dat programma en de outcomes die je ermee denkt te bereiken, aannemelijk maken: are you doing the right things?

Met hartelijke dank aan Akke Schuurmans (MCNV), Arjen Mulder (Warchild), Cobi Mars (destijds AMREF), Dieneke de Groot (ICCO), Julia McCall (IOB), Floris Blankenberg (IOB), Karel Chambille (Hivos), Mirjam Locadia (destijds Partos), Peter Das (ZOA), Renate Kersten (AgentschapNL – nu RVO), Rens Rutten (Cordaid) en Ruth van Zorge (Rutgers) voor het delen van hun belangrijkste inzichten.