Met haar proefschrift over het gebrek aan impactevaluatie bij goede doelen wist Kellie Liket de gemoederen zowel binnen als buiten de ontwikkelingssector goed bezig te houden. Vice Versa sprak  onder andere met Bart Romijn van brancheorganisatie Partos, Evelijne Bruning van The Hunger Project, adjunct-directeur Henk Molenaar van NWO-WOTRO en IOB-directeur en hoogleraar Ruerd Ruben om de verschillende reacties uit het veld te peilen.

Afgelopen week promoveerde Kellie Liket op haar proefschrift ‘Waarom ‘goed’ doen, niet goed genoeg is. Essays over maatschappelijke impactmeting’ bij het Erasmus Research Institute of Management (ERIM). Ze stelt dat goede doelen slecht zicht hebben op hun impact en daar bovendien een veel te rooskleurig beeld bij hebben. Impactevaluaties zijn volgens haar het antwoord om te controleren dat de goede intenties van maatschappelijke organisaties  ook daadwerkelijk vertaald worden naar een positieve resultaten.

Eerste reacties

Hoewel de ontwikkelingssector van een defensieve houding wordt beticht in haar reacties op het toch wel heel kritische onderzoek van Kellie Liket, wordt er in eerste instantie vooral verheugd gereageerd op aandacht vanuit wetenschappelijke hoek. De algemene strekking, dat het van groot belang is om te weten wat de effecten van je werk zijn, wordt breed gedeeld.

Bart Romijn, directeur van brancheorganisatie Partos, laat weten dat organisaties blij zijn met onderzoek naar ontwikkelingswerk en prijst Liket voor het aanzwengelen van het debat. ‘Likets oproep aan donoren om niet de strijkstok, maar juist de effectiviteit van een organisatie als uitgangspunt te nemen, juich ik van harte toe.’

Toch worden er ook kanttekeningen geplaatst. IOB-directeur en hoogleraar Ruerd Ruben uit zijn bezwaar tegen de relatie tussen organisatorische effectiviteit en ontwikkelingseffectiviteit die Liket schetst. ‘We kunnen niet stellen dat een organisatie die efficiënter in elkaar zit ook betere resultaten op het gebied van ontwikkeling behaald. Dat is empirisch niet bewezen.’

Ook ziet Ruben problemen met het meten van het bereik, ofwel het aantal deelnemers van een programma als benadering over mogelijk effect. ‘Je kunt wel heel veel mensen laten deelnemen aan een programma, maar hebben ze dat ook daadwerkelijk nodig? Je kunt je bereik gemakkelijk vergroten door mensen die langs de kant van de weg wonen te benaderen, maar armoedebestrijding gaat juist ook over het helpen van mensen die moeilijker bereikbaar zijn.’

Evaluatie in de ontwikkelingssector

Er wordt vanuit de ontwikkelingssector duidelijk gesteld dat er juist veel aandacht, tijd en geld in evaluatie word gestoken. Bart Romijn vertelt dat er bij de lidorganisaties van Partos zwaar wordt geëvalueerd en dat ze daar gezamenlijk van proberen te leren. ‘Als strategieadviseur en evaluator heb ik voor veel verschillende organisaties gewerkt, binnen en buiten de ontwikkelingssamenwerking. Ik kan met recht zeggen dat dit echt een sector is waar evaluatie relatief op een hoog niveau wordt uitgevoerd.’

Evelijne Bruning, directeur van The Hunger Project, sluit zich hier bij aan: ‘Het onderzoek van Liket gaat over goede doelen over de volle breedte, van vlinderstichting tot blinde geleidehond. Ontwikkelingsorganisaties zijn in die groep juist degenen die wél evalueren. Het wordt altijd maar weer afgedaan alsof ontwikkelingsorganisaties niet bereid zouden zijn om hun werk te meten, en dat is echt onzin.’

Henk Molenaar, adjunct-directeur van WOTRO Science for Development, die wetenschappelijk onderzoek financiert, beaamt dit. Wel stelt hij dat er veel aandacht in het controleren van de voortgang van projecten en het evalueren van de directe uitkomsten wordt gestoken, maar veel minder aan de uiteindelijke impact. Dit is volgens hem te wijten aan de moeilijkheid hiervan. ‘Bepaalde veranderingen in de samenleving zijn lastig één op één toe te schrijven aan projectinterventie.’ 

Ruerd Ruben (IOB) plaatst echter vraagtekens bij de kwaliteit van de al gedane onderzoeken. ‘Er is in het verleden heel veel papier gepubliceerd waar als titel opstaat “evaluatie”. Dit is zeker niet uniek voor de ontwikkelingssector, maar de helft van deze onderzoeken is niet valide, daar kunnen we geen conclusies uit trekken. Het is óf niet onafhankelijk uitgevoerd, óf methodologisch niet op orde. Veel evaluaties zijn reflecties van de uitvoerders. “Denkt u dat uw project tot goed resultaat heeft geleid?”, terwijl dit natuurlijk juist aan de deelnemers moet worden gevraagd.’

Evaluatie inbouwen in projecten

Over het belang om vanaf de beginfase al na te denken over evaluatie lijkt iedereen het eens te zijn. Henk Molenaar legt uit: ‘Veel financiering van maatschappelijke organisaties komt van Buitenlandse Zaken en we zien dat de IOB steeds meer nadruk legt op het dusdanig vormgeven van projecten dat ze ook evalueerbaar zijn. Je moet in het begin al goed nadenken over wat nu precies de doelstellingen zijn die je wilt bereiken met het programma en wat de indicatoren zijn om te kunnen vaststellen of die doelen bereikt worden – en hoe je die vervolgens kunt meten.’

Ruerd Ruben (IOB): ‘Na 35 jaar investeren vanuit de overheid worden er nu voor het eerst echt goede impactstudies gedaan in het kader van MFS-II, omdat wij als toezichthouder die eis hebben gesteld. Dat gaat gelukkig heel goed.’

Ook Bart Romijn sluit zich aan bij de stelling dat evaluatie in het hele project- of programmaplan verweven moet worden, maar is niet te spreken over de manier waarop impactevaluatie door het IOB wordt geëist: ‘Als Liket haar onderzoek had gedaan onder de organisaties die onder MFS-II vallen zou ze een volstrekt ander plaatje te zien krijgen. Het evaluatieregime dat vanuit dit medefinancieringsstelsel is opgelegd is pas in een laat stadium opgelegd en is onevenredig zwaar; de dikke rapporten die worden opgesteld staan niet in verhouding tot het gebruik ervan. Dat kan slimmer en efficiënter.’ 

Complexiteit van impactmetingen

Evelijne Bruning (The Hunger Project) stelt: ‘Heel veel interventies zijn nu eenmaal veel complexer dan wormenpillen of nieuwe schoolboeken. Dat bredere interventies moeilijker om te rekenen zijn naar geredde mensjaren op een manier die Ruerd Ruben als valide wil accepteren, wil niet zeggen dat deze niet goed zijn. Moet je dat dan de ontwikkelingsorganisaties of de wetenschap aanrekenen? Ik denk het laatste.’

Bart Romijn (Partos) voegt daaraan toe: ‘Ik vind het een schrale vergelijking om te zeggen dat de impact van een wormenkuur groter is dan het neerzetten van een school. Op het moment dat je een school bouwt en wegloopt zal die gaan wegrotten, maar op het moment dat je geen koeling hebt voor je wormenkuur heb je hetzelfde probleem.’

Bruning vertelt over ervaringen die ze bij The Hunger Project hebben met impactmeting: ‘Wetenschappers van de Amerikaanse Yale universiteit onderzoeken al 10 jaar een grootschalig programma in Ghana waar we met kleinschalige boerengemeenschappen aan zelfredzaamheid werken. Om ons werk meetbaar te maken moesten we echter heel veel concessies doen. Normaal gesproken selecteren we gemeenschappen die zich echt willen inzetten, nu werden ze via een loting aangewezen. Normaal werken we in het lokale tempo, nu moest alles veel sneller en precies tegelijkertijd.’

Hierop vervolgt Bart Romijn: ‘Op een bepaald moment kom je uit bij vragen over balans en proportie; hoeveel moet je investeren in impactinvesteringen als dat heel kostbaar en ingewikkeld is? En hoeveel tijd en geld steek je in het meten en hoeveel tijd en geld steek je in zo goed mogelijk je project uitvoeren? Het feit dat ook bedrijven die zich bezig houden met MVO (Maatschappelijk Verantwoord Ondernemen) ook veel moeite hebben met het meten van hun sociale impact illustreert dat het gewoon echt niet zo makkelijk is.’

Methodologische discussies

Henk Molenaar wijst op de discussies over welke methodologie er bij impactevaluatie gehanteerd moet worden. Hij noemt de randomized controlled trials (RCT) afkomstig uit het medisch onderzoek, waarbij vergeleken wordt met een controlegroep, een heel rigide methode. ‘Je kunt ontwikkelingssamenwerking eigenlijk niet vergelijken met een medicijn of medische ingreep. Je hebt te maken met mensen en hun belangen, die niet alleen onderworpen worden aan de interventie, maar er ook aan moeten meewerken en die vaak ook hebben helpen ontwikkelen. De methode met RCT’s is een enorme versimpeling van de werkelijkheid.’

Ruerd Ruben stelt daartegenover: ‘Een hartchirurg zal juist zeggen dat een openhartoperatie heel complex is en daar heeft hij ook gelijk in.’ Toch lijken de meningen hier niet heel uit elkaar te liggen; ook Ruben hamert er juist op dat we die complexiteit niet moeten reduceren.

Karavaan

Bruning kaart nog een ander probleem aan op basis van de ervaringen bij The Hunger Project: ‘Wanneer je een paar jaar achter elkaar met een hele karavaan aan hulptroepen en Amerikaanse onderzoekers een gemeenschap bezoekt die als controlegroep is aangewezen, creëer je verwachtingen. Als mensen wel moeten meewerken aan allerlei onderzoeken, maar vervolgens geen hulp ontvangen, ontstaan er spanningen.’

Ruerd Ruben (IOB) ziet minder problemen met deze manier van evalueren. ‘Geen enkel hulpprogramma is universeel, er zijn altijd mensen die niet meedoen. Maatschappelijke organisaties moeten hun blik openbreken en nadenken over wat er gebeurd zou zijn als er geen hulpproject was geweest. Of je dat nu doet door een controlegroep te gebruiken of op een andere manier, je kunt niet evalueren door alleen maar naar het project zelf te kijken.’

Ruben illustreert dit met een voorbeeld: ‘Zelfs in fragiele landen als Sierra Leone hebben ze tegenwoordig een behoorlijke groeivoet van 4%. Als een project dan tot 2% inkomensgroei leidt, lijkt dat een positief resultaat. Maar dat is het natuurlijk niet. Wat er in de omgeving gebeurt moet centraal staan bij impactmeting. Dat is niet zo zeer een techniek, dat is een bepaalde bril die je opzet.’

Risico’s van focus op evaluatie

Henk Molenaar (NWO) vreest echter wel dat evalueren op concrete resultaten tot gevolg kan hebben dat de minder concrete programma’s buiten de boot gaan vallen. ‘Naarmate de druk om te evalueren en om resultaten te laten zien toeneemt, zie je dat men zich in het ontwerpen van programma’s beperkt tot doelen die ook daadwerkelijk te meten zijn. Doelen die minder makkelijk te concretiseren zijn, bijvoorbeeld empowerment of bewustwording, vallen dan buiten boord omdat veranderingen op dat vlak lastig aan specifieke interventies toe te schrijven zijn.’

Ruerd Ruben deelt die vrees niet: ‘Ik kan me geen situatie voorstellen waar je niet aan meting zou kunnen doen. We hebben net een effectmeting in Kunduz afgerond. Dat was niet eenvoudig: er is oorlog en het ging over rechtsstatelijkheid. Maar zelfs daar kun je heel goed perceptiemetingen doen over hoe corrupt bewoners het regime of de politie vinden, of over hoeveel vertrouwen men heeft in lokale rechters. Er zijn bijna altijd wel methodes te vinden om effectiviteit te kunnen meten. Het is vaak de professionaliteit die dan ontbreekt. Als je tien jaar lang veldwerk hebt gedaan, ben je nog niet gelijk een goede evaluator.’

Lees later deze week het uitgebreide interview met Kellie Liket op Vice Versa online waarin ze reageert op haar critici.