Deel 2/5 De voorbereiding

In deze vijfdelige serie geeft Lieke Ruijmschoot tien tips die haar en medecursisten het meest zijn bijgebleven van trainingen over Planning, Monitoring en Evaluatie die door het IOB werden georganiseerd in de afgelopen jaren. In deel 2 tipt zij over een goede voorbereiding.

De IOB heeft twee keer een training over het (laten) uitvoeren van evaluaties in de ontwikkelingssamenwerking georganiseerd; in maart 2013 en november 2014. De trainers waren de Amerikaanse Linda Morra Imas en Ray Rist van het International Program in Development Evaluation Training (IPDET) in Canada. Enkele maanden later vraagt Lieke Ruijmschoot haar medecursisten welke inzichten hen het meest zijn bijgebleven; dit resulteert in tien lessen voor het organiseren van evaluaties. Bij dezen tip 3 en 4: de voorbereiding voor een evaluatie.

Tip 3. Bezint eer u begint – Evaluability Assessment en literatuuronderzoek

Twee verrassende inzichten betreffen de voorbereiding voor een evaluatie. Ten eerste het concept van een Evaluability Assessment: voordat je begint, bepalen of je evaluatie wel nuttig en haalbaar is. Zo dient een Evaluability Assessment om te bepalen wie het publiek is: zit er iemand op de evaluatie te wachten, en waarom? Welke data zijn nodig, en zijn die voor handen? Idealiter maak je deze afweging al bij het opzetten van je programma, dan kan je nog zaken voor zijn.

Vaak is monitoring tijdens een programma namelijk een belangrijke voorwaarde om sommige evaluatievragen überhaupt te kunnen beantwoorden. Zie tip 2: je moet wel kunnen vaststellen of activiteiten zijn uitgevoerd. ‘Without good monitoring data, we suffer in doing evaluations’, zoals Linda dit met gevoel voor dramatiek bekrachtigt. En evaluatievragen die een causaal verband willen vaststellen, kunnen alleen beantwoord worden als er is gezorgd voor comparison groups. Zie slide 8 tot 10 van deze presentatie voor meer informatie over de Evaluability Assessment, die overigens alleen zinnig is als er ook een “go”/”no go” consequentie aan verbonden wordt en leidt tot beslissingen.

Een tweede verrassing in de voorbereiding is de suggestie om verschillende databases in te duiken op zoek naar eerdere soortgelijke evaluaties. Natuurlijk, elk evaluatievoorstel begint met de sleetse eerste stap van literatuuronderzoek naar het onderwerp, maar dat is niet wat hier bedoeld wordt. Het gaat er om te onderzoeken of er al dergelijke onderzoeken gedaan zijn. Of dat er zelfs een systematic review bestaat, een soort meta-evaluatie op een bepaald thema, om inspiratie op te doen ook op methodologisch vlak. Wat speelt er op dit terrein? Welke evaluatievragen zouden interessant zijn?

Ray en Linda bevalen hiervoor verschillende repositories aan, zoals de DAC Evaluation Resource Centre, de Cochrane Library voor studies in gezondheidszorg, of de Campbell Library voor studies over criminaliteit, onderwijs, internationale samenwerking, en sociale voorzieningen. Deze reviews zijn behoorlijk kwantitatief; meer kwalitatieve reviews zijn te vinden bij de Rockefeller Foundation en USAID. Naar eerdere evaluaties over Pleiten en Beïnvloeden is het echter goed zoeken, kan ik alvast verklappen…

Tip 4. Garbage in, garbage out – het belang van een goede ToR

En dan begint het schrijven van de Terms of Reference (ToR). Kernwoord is hier “focus”, want zoals Linda zei: ‘Garbage in, garbage out.’ Bepaal goed wie “de klant” is: wie gaat de evaluatie lezen en wat is voor diegene écht nuttig om te weten? Volgens Ray kan je evaluaties altijd ergens op een spectrum plaatsen met aan het ene eind auditing, wat alleen naar processen kijkt, en aan de andere kant evaluaties, waarbij je alleen naar resultaten kijkt. In werkelijkheid zit je er bijna altijd ergens tussenin, maar het is goed om je te realiseren waar op het spectrum je zit. Is het doel van de evaluatie om te leren en aan te passen, of om te verantwoorden? Hier hangen de evaluatievragen van af.

Maak onderscheid tussen beschrijvende vragen (hoe, wat, waar, wanneer, wie, hoeveel?), normatieve vragen (is een bepaald criterium of norm behaald?) en oorzaak-effect vragen (welke verandering heeft plaatsgevonden en heeft de interventie hier aan bijgedragen?). Door dit onderscheid al in de ToR duidelijk te maken help je een evaluator om ook in een rapport een beschrijving van het gebeurde, een oordeel daarover en een verklaring ervoor, goed uit elkaar te houden.

Beperk het aantal evaluatievragen tot het minimale; het stapelen van vragen komt de kwaliteit van je studie niet ten goede en is bovendien tijdrovend en dus kostbaar. Vier vragen over causale verbanden is volgens Ray en Linda bijvoorbeeld al veel te veel. Ook het ingaan op alle OESO-evaluatievragen (relevantie, effectiviteit, efficiëntie, duurzaamheid, impact) is te ambitieus. Formuleer de vragen heel specifiek voor jouw programma: wat wil je echt weten? Een laatste tip is om de zogenaamde Evaluation Design Matrix te gebruiken voor de ToR.

Samen met een andere partij een evaluatie organiseren van twee vergelijkbare programma’s is mogelijk en kan tot extra leren leiden, maar wees daarin wel terughoudend, raadde het duo aan. In hun ervaring is een evaluatie met zijn tweeën goed te doen, maar met drie partijen wordt het al erg lastig om op één lijn te komen over de ToR. Toen Ray en Linda van de deelnemers hoorden dat negentien  MFS II allianties bezig zijn met een gezamenlijke evaluatie, met vijf evaluatievragen, acht landenstudies, één studie International Lobby & Advocacy, een synthesestudie, en dus negentien deelnemende allianties elk met meerdere alliantieleden, meerdere partnerorganisaties en meerdere thema’s, vielen de schellen dan ook van hun ogen. Niet bepaald hun definitie van focus…

Met hartelijke dank aan Akke Schuurmans (MCNV), Arjen Mulder (Warchild), Cobi Mars (destijds AMREF), Dieneke de Groot (ICCO), Julia McCall (IOB), Floris Blankenberg (IOB), Karel Chambille (Hivos), Mirjam Locadia (destijds Partos), Peter Das (ZOA), Renate Kersten (AgentschapNL – nu RVO), Rens Rutten (Cordaid) en Ruth van Zorge (Rutgers) voor het delen van hun belangrijkste inzichten.