Als het gaat om impactevaluaties, zit Thomas de Hoop niet om gespreksstof verlegen. Hij richtte zich in zijn promotie op de vraag wat de invloed van de context is op de effectiviteit van ontwikkelingssamenwerking. In zijn huidige werk in India bij The International Initiative for Impact Evaluation (3ie) brengt hij dat verder in praktijk.

Thomas de Hoop ontving begin dit jaar zijn doctorsgraad na een succesvolle verdediging van zijn proefschrift ‘How context matters for development effectiveness: A study into social norms and heterogeneous impacts’. Daarvoor reisde hij terug uit India, waar hij reeds begonnen was als Evaluation Officer bij The International Initiative for Impact Evaluation (3ie).

3ie financiert impactevaluaties. Het is een Non-Profit organisatie en heeft voornamelijk overheidsorganisaties als leden. Voorbeelden zijn het Engelse  DFID, maar ook landen als Colombia, Pakistan, China en Oeganda zijn lid. Binnen de Policy Window komen deze leden  met onderzoeksvragen over programma’s die ze willen evalueren.

‘Als wij een onderzoeksvraag voor een evaluatie hebben, zetten we een Request for Qualifications uit’, vertelt Thomas de Hoop. ‘Dat is een soort tender waar onderzoekers op kunnen reageren. Wij kiezen het beste team uit. Vervolgens werkt het onderzoeksteam samen met de overheid aan een onderzoeksvoorstel om die specifieke onderzoeksvraag te beantwoorden. ’

3ie financiert niet alleen evaluaties in het kader van de Policy Window  maar ook via zogenaamde Open Windows. Hierbij is het onderwerp van de evaluatie open. De Hoop: ‘Bij Open Windows komen onderzoekers zelf met een onderzoeksvraag. Zo’n voorstel wordt wel gesteund door een beleidsmaker die vindt dat dat een relevante beleidsvraag is. We kijken puur naar de kwaliteit en de beleidsrelevantie van de voorgestelde evaluatie bij onze selectie van onderzoeksvoorstellen.’

Daarnaast bestaat er ook een zogenaamd Thematic Window. ‘Bij  Thematic Windows ligt het onderwerp vast en heeft de donor van te voren al een aantal onderzoeksvragen vastgesteld’, aldus De Hoop. Voorbeelden van thema’s zijn sociale programma’s zoals cash transferprogramma’s en landbouwprogramma’s.

‘Het grote voordeel van Thematic Windows is dat je meerdere impactevaluaties doet op één specifiek thema, maar in verschillende contexten’, aldus De Hoop. ‘Hierdoor kan je met heel context-specifieke antwoorden komen. Je weet het antwoord op dezelfde vraag in de context van Afrika en ook in Azië in de specifieke context daar. Dat soort informatie kun je dan allemaal samenvatten en vergelijken.’

‘Voordat we besluiten een evaluatie te financieren, praten we met beleidsmakers. Het gaat  vooral om overheidsfunctionarissen uit ontwikkelingslanden en grote donoren zoals DFID en de  Gates Foundation. Wij willen weten wat hun meest urgente beleidsvragen zijn die met impactevaluaties beantwoord kunnen worden.’

Over impact evalueren

De Hoop: ‘Impactevaluaties gaan over het beantwoorden van causale vragen.  Een onderzoeksvoorstel moet antwoord geven op de vraag: wat zou er gebeurd zijn als deze specifieke interventie nooit had plaatsgevonden? Veel evaluaties richten zich op het proces zelf. Dat is ook van belang. Bij een goede impactevaluatie doe je ook een procesevaluatie of ander kwalitatief onderzoek. Dat is echter niet voldoende om causale vragen te beantwoorden.’

‘Ik denk dat er heel veel evaluaties met een lage kwaliteit worden gedaan. Er wordt bijvoorbeeld geen baseline uitgevoerd. Of nog erger: het gebeurt vaak genoeg dat er een consultant wordt bij geroepen die in zeer korte tijd – zeg vijf dagen – de impact van een programma moet bepalen. Dat is volstrekt ridicuul. Dat bestaat niet, kan niet. Dat wordt alleen gedaan omdat het een eis is van de donor. Een consultant – hoe goed ook – kan dat niet doen in zo’n korte tijd. Die praat een beetje, een veldbezoekje, meer kan je niet doen in die korte tijd.’

De Hoop vervolgt: ‘Impactevaluaties zijn duur. $ 350.000 dollar is een gemiddelde financiering die wij geven voor een impactevaluatie. Maar ze zijn wel heel erg kosten effectief als organisaties er daadwerkelijk van leren. Bovendien is dit geld beter besteed dan doorgaan met het financieren van ineffectieve programma’s. ’

‘Om verschillende impactevaluaties te vergelijken’, gaat hij verder, ‘financieren we ook systematic reviews. Dat zijn systematische samenvattingen van alle impactevaluaties die ooit uitgevoerd zijn op een bepaald thema. Dan kunnen we te weten komen, over alle contexten van verschillende ontwikkelingslanden, wat de specifieke impact is van een interventie. Die kan natuurlijk ook juist per context verschillen.’

De boodschap uit je promotie was juist: context maakt uit, maar de vraag is hoe?

‘Ja. Absoluut. Bij conditional cash transfers krijgen mensen alleen geld als mensen ‘goed gedrag’ vertonen, bijvoorbeeld als ze hun kinderen naar school sturen. In Latijns Amerika zijn conditional cash transfer programma’s een groot succes. In Afrika is dat nog maar de vraag.’

‘Komt dat door culturele verschillen?’

‘Gedeeltelijk, maar waarschijnlijk vooral door verschillen in administratieve capaciteit. De administratieve capaciteit in Afrika is vaak van bedenkelijk niveau. Daarom worden er voornamelijk unconditional cash transfer programma’s opgezet. Bij unconditional cash transfers zijn er geen voorwaarden voor de mensen die geld krijgen.  Het vergt vaak te veel administratieve capaciteit om daadwerkelijk te controleren of mensen hun kind naar school sturen.’

Hoe vind je dat evaluaties gebruikt worden?

De Hoop gaat even verzitten en vervolgt dan: ‘Er zijn heel veel impactevaluaties uitgevoerd de laatste jaren. Beleidsmakers zijn er echter niet altijd in geïnteresseerd, wellicht omdat de geëvalueerde programma’s te klein zijn. Vaak zijn beleidsmakers vooral geïnteresseerd om hun flag ship programma’s’ te evalueren. Wij proberen om de onderzoekers zo te laten werken dat zij de meest relevante programma’s evalueren en de meest relevante onderzoeksvragen beantwoorden.’

‘In de voorbereidende fase van een evaluatie gaan we daadwerkelijk met beleidsmakers uit Afrika, Azië en Latijns Amerika om de tafel zitten. Dan vragen we of het voor hen een interessant thema is. Als de vraag al door de beleidsmakers zelf geformuleerd is (zoals in de Policy Window), dan is er dus zeker interesse.’

Zij zeggen: wij willen dit weten. En jullie moeten dat voor ons uitzoeken?

‘Precies. Ze vragen ons een tender uit te zetten en de kwaliteit van de impactevaluatie te garanderen.’

Regeringen zijn lid van 3ie. Ik denk meteen aan goed bestuur. Dat overheden echt willen evalueren en leren, dat is een positieve opstelling?

‘Ik denk dat je champions nodig hebt. Vooruitlopers die het verschil maken. Mensen binnen een overheid die daadwerkelijk geïnteresseerd zijn in wat werkt en waarom.’

Liggen evaluaties niet gevoelig? Geeft het niet het gevoel gecontroleerd te worden? Als je je vrijwillig bloot stelt aan een evaluatie ben je al een champion…

‘Dat denk ik ook ja. Je moet het echter ook niet overdrijven. Niet iedereen is lid van ons. Met name in Latijns Amerika is er de laatste jaren een enorme evaluatiecultuur. Chili is een voorbeeld. Alle grote programma’s worden daar aan een evaluatie onderworpen. In andere landen is het nog vaak erg lastig om overheidsorganisaties te vinden die hun programma’s willen onderwerpen aan een evaluatie. Het zorgt er natuurlijk toch voor dat je je als overheid kwetsbaar opstelt.’

In Nederland lijkt dat soms moeilijk.

‘Ik denk dat het verschil is dat het in Nederland lijkt te gaan over de vraag of iedere euro goed terecht is gekomen. Het lijkt er niet altijd om te gaan of we kunnen leren hoe het beter kan. Ik denk dat dat in veel andere landen eerder wel het geval is.’

Bij evaluaties overheerst een gevoel van controle en dat iemand anders komt vertellen hoe het beter moet?

‘Dat is het ook wel deels. DFID heeft een belang naar de Engelse belastingbetaler toe om aan te geven hoe haar programma’s impact hebben. Dat is bij overheden uit ontwikkelingslanden minder het geval, maar ook zij moeten vaak aan donoren rapporteren. Leren is echter ook een doel voor organisaties zoals DFID en zou het ook moeten zijn in Nederland. Of meer dan nu het geval is. Controle kan echter ook zeker tot belangrijke lessen leiden. Als je optimaal gebruik wil maken van impactevaluaties zal je toch af en toe de pijnlijke beslissing moeten nemen om een programma niet langer te financieren.’

‘Het is niet zo belangrijk wie zorgt dat het programma effect heeft, maar dát het programma effect heeft’ vervolgt De Hoop. ‘In Nederland is de focus vooral om impact naar een organisatie toe te schrijven. De Nederlandse overheid lijkt het van belang te vinden dat zij ook daadwerkelijk voor dat effect gezorgd heeft. Ik vind dat helemaal niet belangrijk. Het gaat erom dat het werkt. Als je het in mooie termen wil gieten: het gaat om development effectiveness en niet om aid effectiveness.’

Lees maandag het vervolg van het interview met Thomas de Hoop.

Thomas de Hoop werkte op persoonlijke titel mee aan dit interview.