In het eerste deel van het interview, sprak Thomas de Hoop over impactevaluaties. Hij stelde dat je champions nodig hebt, die open staan om te leren hoe ontwikkelingssamenwerking het effectiefst werkt. Wonend en werkend in India bekijkt De Hoop de ontwikkelingen van de Nederlandse ontwikkelingssector van een bepaalde afstand. Soms, zo stelt hij, wordt iets geroepen zonder dat er bewijs is, maar op basis van een ideologie.

Thomas de Hoop werkt als Evaluation Officer bij The International Initiative for Impact Evaluation (3ie). Hij woont en werkt nu bijna een jaar in New Delhi, India.

Hoe kijk je vanaf een afstandje naar de ontwikkelingen van de OS-sector in Nederland?

‘Dat de VVD bijvoorbeeld roept dat het bedrijfsleven zo effectief is, ik vraag me dat af. Ik zeg niet dat het niet het geval is, maar er is niet zoveel bewijs voor dat bedrijfsleven interventies zo effectief zijn als het gaat om armoedebestrijding.’

‘Ook hoor ik vaak het argument dat we niet zomaar geld moeten geven. Bij veel Afrikaanse overheden zijn cash transfer programma’s tegenwoordig echter enorm populair. Die programma’s zijn behoorlijk goed gericht op de armen. Misschien niet in de armste landen, maar wel in de landen die daar net boven zitten, zijn cash transfers behoorlijk succesvol als het om armoedebestrijding gaat.’

‘Bij cash transfer programma’s wordt meestal eerst een survey uitgezet om te bepalen wie arm is. Op basis daarvan krijgen die armen periodiek een klein bedrag gestort. De Hoop: ‘Je kunt er veel over zeggen, maar het is niet dat ze het geld alleen aan alcohol uitgeven. Het is redelijk succesvol. Er worden ook bedrijfjes opgezet. Armoedebestrijding werkt als het om cash transfers gaat. Potentieel kan het ook leiden tot economische groei, maar daar is nog niet zoveel over bekend. ’

Is dat niet lastig bij evaluaties: je komt tot conclusies dat iets werkt, maar met mitsen en maren. Je geeft een genuanceerd en realistisch beeld, terwijl in de media één aantrekkende kop moet staan?

‘Er zit ook een bepaalde ideologie achter. Laten we eerst maar met het verhaal van Oxfam Novib beginnen. We moeten geen vis geven, maar een hengel. Dat zit er zo ontzettend in. Maar de vis blijkt vaak behoorlijk succesvol als je de vis even als cash transfer ziet. Het is ideologie, bijna indoctrinatie dat men stelt dat de hengel werkt en de vis niet. Ik heb persoonlijk daar nog niet zo heel veel bewijs voor gezien.’

‘Aan de andere kant: de VVD werkt vanuit een ideologie als het gaat om steun aan het bedrijfsleven. Microkrediet was op een gegeven moment een heilig mantra. De effecten van microkrediet vallen echter tegen. Ten minste als je de VVD moet geloven dat het mensen uit de armoede moet trekken. Microkrediet werkt, maar beperkt. Het zorgt er voor dat mensen die al een bedrijfje hebben hun inkomen licht vergroten, maar er zijn ook mensen die door microkrediet in de schulden raken. En die schulden moeten ze afbetalen door in het informele circuit te lenen. Microkrediet is over het algemeen best oké, maar het is puur ideologie om te roepen dat het bedrijfsleven werkt of dat de hengel werkt en de vis niet.’

De VVD heeft ook kritiek gekregen aan fact free politics te doen.

‘Daar zitten we dan best dicht bij, denk ik.’

Beleid zou meer gebaseerd moeten zijn op feiten?

‘Het is ook wel moeilijk hoor. Je merkt vaak dat overheden in ontwikkelingslanden een bepaalde impactevaluatie steunen omdat ze geloof hebben in de resultaten van een programma. Als echter blijkt dat die uitkomsten negatief zijn, dan is het moeilijk die ambtenaren nog mee te krijgen.’

‘Het gaat om champions. Zelfs in de overheid van Zimbabwe onder Mugabe zitten goede ambtenaren die wel willen leren en zich willen inzetten. Het is moeilijk om met zo’n overheid te werken, maar niet onmogelijk.’

Hengel en de vis. Doel is zelfredzaamheid te bevorderen.

‘Het blijkt dat door cash transfers mensen hoop krijgen en in hun eerste levensbehoeften kunnen voorzien. Om ze nou de verantwoordelijkheid te geven van zelfredzaamheid, terwijl ze nauwelijks in de basisbehoeften van hun familieleden kunnen voldoen, dat is misschien te hoog gegrepen.’

‘Maar cash transfers kunnen wel leiden tot zelfredzaamheid. Mensen geven het geld niet alleen uit aan directe consumptie, maar investeren ook in bijvoorbeeld kunstmest om hun landbouwproductiviteit te verhogen. Dat is een lange termijn effect. Ik denk dat er vaak bij ontwikkelingsorganisaties in Nederland beperkt wordt gedacht wanneer zij aan lange termijn effecten denken.’

‘Pre-school taining programma’s zijn voorbeelden van  programma’s met lange termijn effecten. Deze programma’s leiden tot early childhood development. De kinderen krijgen meer cognitieve vermogens als gevolg van deze pre-school trainingsprogramma’s. Dat blijkt uit evaluaties in Latijns-Amerika en Mozambique. Soms wordt dan getwijfeld aan het lange termijn effect. Dat is echter in tegenspraak met het empirische bewijs. Andere studies hebben aangetoond dat kinderen met hoge cognitieve vermogens in de toekomst ook een hogere productiviteit hebben, waardoor ze een hoger salaris krijgen. Dit kan vervolgens weer tot positieve effecten op gezondheid leiden. Of zo’n programma nou drie jaar of tien jaar loopt, maakt niet zoveel uit. Liever tien jaar natuurlijk , maar een korte termijn investering is ook heel waardevol, want het verbeteren van cognitieve vermogens van kinderen heeft positieve lange termijn effecten.’

‘Als ngo’s aan de lange termijn denken’ ,vervolgt De Hoop, ‘richten zij zich al snel op capaciteitsversterking. Doel is dat organisaties uit het Zuiden zelfstandig programma’s uit kunnen voeren. Het gaat dan nog steeds om de inputkant. Er is daarbij weinig of geen aandacht voor de lange termijn effecten op outcome en impact niveau. Daarvoor zullen Zuidelijke organisaties ook de juiste programma’s moeten uitvoeren. Het ene programma is nou eenmaal effectiever dan het andere.’

‘Capaciteitsversterking is echter niet onbelangrijk, ook niet als het om onderzoek gaat. Nog steeds worden veel evaluaties gedaan door mensen uit westerse landen. We willen dat veranderen. Op langere termijn wil je capaciteiten in ontwikkelingslanden versterken om evaluaties zelf uit te voeren, maar in Sub-Sahara Afrika loopt amper iemand met een PhD rond. Dat is dus moeilijk. In Latijns Amerika is dat al heel anders.’

Nut van evaluaties

De Hoop: ‘Impactevaluaties van grote programma’s hebben natuurlijk het grootste belang. Soms is het moeilijk de hoogste evaluatiestandaarden te halen bij dergelijke programma’s, omdat ze al heel lang lopen en bij de inrichting van het programma niet is nagedacht over de evaluatie. ‘

‘Kleine programma’s evalueren is niet zinloos. Het is dan vooral interessant een theory of change te toetsen. Het gaat dan om de interventielogica als we A doen, dan volgt B. Dan toets je of dat daadwerkelijk zo is of niet, of dat dat via non-lineaire processen verloopt. Je moet overigens niet alle projecten evalueren met een impactevaluatie. Soms is een kleine procesevaluatie voldoende. Het is vaak nuttiger belangrijke projecten te evalueren waar vele miljoenen in om gaan, zelfs als dat vaak moeilijker is. Evaluaties van kleine programma’s kunnen echter ook indicaties geven van de effecten van grote programma’s.’

‘Er worden natuurlijk miljoenen euro’s verspild. En dat kan niet anders want er zijn gewoon projecten die mislukken. Dat gebeurt. In andere sectoren absoluut ook trouwens.’

‘Vanuit de donor kijk je naar besteding van OS-geld, voor beleidsmakers uit ontwikkelingslanden is dat anders. Die willen leren maar soms ook gewoon de verkiezingen winnen. Een voorbeeld is een groot conditional cash transfer programma in Colombia. Eerst was er enorme kritiek op dat programma vanuit de oppositie. De regeringspartij heeft een evaluatie gedaan en het programma bleek behoorlijk succesvol. Dat hebben ze vervolgens gebruikt in de verkiezingen.’

De Bühne

‘Er wordt ook een beetje voor de bühne geroepen. Iedereen wil dat ontwikkelingssamenwerking effectief is. Men wil dat daar controle op is, vooral de Nederlandse kiezer op het moment. Dat is goed, maar de Nederlandse kiezer kan niet bepalen of een evaluatie van goede kwaliteit is. Dus politici kunnen roepen dat iets geëvalueerd is en goed bevonden wordt. Er zullen vast hoge kwaliteit evaluaties zijn in Nederland, maar ik denk dat veel evaluaties ook van zeer lage kwaliteit zijn. Dan kun je de conclusies niet vertrouwen.’

‘Het kan voorkomen dat evaluaties van lage kwaliteit worden uitgevoerd. Op basis daarvan kan besloten worden meer geld te pompen in een programma. Als dan later een hoge kwaliteit impactevaluatie gedaan wordt, kan blijken dat het programma helemaal niet werkt. Dan is het veel moeilijker om dat programma op grote schaal alsnog te stoppen.’

Evaluaties als politiek instrument

‘Het doel van een impactevaluatie moet niet zijn om de impact van een Oxfam Novib vast te stellen. Het is volstrekt ridicuul om dat met een impactevaluatie te doen. Dat kan niet. Je moet de impact van specifieke interventies die gesteund worden door Oxfam Novib evalueren. Daarbij is de specifieke interventie van groot belang. Ik denk dat de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) hier veel meer rekening mee had moeten houden bij de evaluatie van het MFS-stelsel.

‘Het IOB heeft van te voren gezegd: we gaan een representatieve sample van interventies van ICCO, Cordaid en andere Nederlandse ngo’s evalueren. Van te voren waren de specifieke details van de interventies echter niet bekend. Dus onderzoekers hadden van te voren een slecht idee van wat voor interventies er überhaupt geëvalueerd moesten worden. Op die manier wordt de kwaliteit van een evaluatie lager. Je moet heel veel details weten van een interventie. Dat is ook soms moeilijk geweest tijdens mijn eigen onderzoek. NGO’s willen nog wel eens een plan voor een interventie veranderen en dat maakt een impactevaluatie erg moeilijk.’

‘Een Theory of change is zeer belangrijk maar het is en blijft een theorie. Organisaties stellen soms dat ze geen impactevaluaties doen, maar wel een heel goede theory of change hebben. Het blijft een theorie, die moet je toetsen. Anders weet je niet of je theorie werkt.’

‘Sommige ngo’s hebben het erover dat ze hele complexe programma’s doen en dat impactevaluaties gaan over eenvoudige programma’s. Sommige projecten zijn daadwerkelijk te complex voor impactevaluaties maar zeker niet in alle gevallen. Er is dus geen reden om complexe programma’s niet meer te evalueren. Je ziet vaak dat relatief eenvoudige programma’s succesvol zijn. Bijvoorbeeld het eerder genoemde Early childhood pre-schooling programma. Dat heeft een enorm effect.’

‘Voor mij ligt dan de bal bij de ngo’s om aan te tonen dat hun complexe programma’s effectiever zijn’, stelt De Hoop. ‘Waarom zou een complexere interventie beter werken dan een minder complexe interventie? Misschien werken eenvoudige programma’s in veel gevallen erg goed. Cash transfers zijn behoorlijk eenvoudig en die programma’s zijn ook behoorlijk succesvol. Ook een heel eenvoudige interventie als het geven van tabletjes tegen wormen geeft kinderen een klein gezondheidsvoordeel dat 10-15 jaar later behoorlijk grote effecten heeft op hun salaris.’

Is er een gevoel dat een moeilijk probleem niet eenvoudig op te lossen is?

‘Misschien is het niet altijd nodig een probleem bij de wortel aan te pakken. En soms is de wortel gewoon geld. Mensen hebben geld nodig om te kunnen investeren. Dat wil  niet zeggen dat complexe interventies niet noodzakelijk zijn, maar complexiteit mag geen excuus zijn om de impact van een programma niet vast te stellen.’

In de discussie rond ontwikkelingssamenwerking is het soms taboe en immoreel te praten in nummers.

‘Ook spreken over geld wordt al snel als immoreel gezien. Maar je hebt gewoon een heel beperkt budget. Het is makkelijk aan te tonen dat je met noodhulp een mensenleven redt. Dat wil niet zeggen dat je met noodhulp meer mensen redt dan met klamboes uitdelen. In Kenia, waar kindersterfte enorm is afgenomen, komt dat mede door een simpele interventie als uitdelen van klamboes.’

Hoe vindt je dat de sector zich opstelt in de discussie over effectiviteit van OS?

‘Over het algemeen defensief, maar natuurlijk zijn er ook in de Nederlandse sector wel champions die zich zorgen maken over de effectiviteit van ontwikkelingssamenwerking. Het is echter moeilijk als impactevaluaties aantonen dat je programma’s waardoor je zelf ideologisch wordt gedreven, misschien niet werken. Het is trouwens makkelijker gezegd dan gedaan om je hele beleid aan te passen op basis van evaluaties. Daarbij moet ik ook stellen dat er nog heel weinig impactevaluaties zijn gedaan over heel lange termijn. Korte termijn evaluaties zijn echter wel degelijk indicatief voor wat er op de lange termijn kan gebeuren.’

En wat voor de tegenstanders die stellen dat 60 jaar OS niet heeft gewerkt?

‘Daar is weinig grond voor. Ontwikkelingssamenwerking heeft grote positieve effecten gehad op sociale indicatoren zoals vaccinatiecijfers en kindersterfte.  Het hangt er echter wel van af wat je verstaat onder ‘werkt niet’. Wat Ruerd Ruben, directeur van het IOB schreef dat er een brede consensus is dat OS bijdraagt aan 0,2% economische groei. Ik weet niet waar hij dat cijfer vandaan haalt. Die consensus die bestaat niet.  Zeker niet onder economen want die zijn het natuurlijk bijna nooit met elkaar eens.’

‘Er bestaat een debat over de relatie tussen ontwikkelingssamenwerking en economische groei en ik denk niet dat er ooit een definitief antwoord over deze relatie gegeven kan worden. Ik ben het niet eens met Rubens stelling dat er een brede consensus bestaat dat ontwikkelingssamenwerking tot economische groei leidt. Dat wil niet zeggen dat het niet zo is maar er bestaan grote verschillen van mening over deze stelling.’

En dan is nog de vraag: wat doe je met economische groei?

‘Dat is een zwakte van impactevaluaties. Uiteindelijk beantwoordt je toch relatief kleine vragen. Het gaat over bepaalde programma’s, het gaat niet over grote strategieën van overheden op het gebied van macro-economisch beleid. Die vragen zijn veel moeilijker te beantwoorden. De economische groei van China kunnen we niet verklaren door middel van impactevaluaties. Dat is een heel complex samenstel van factoren geweest. Niemand heeft een echt antwoord waarom China het zo goed doet en andere landen niet. Daar spelen vele factoren mee. Die vraag  kan niet beantwoord worden met een impactevaluatie. Maar als iemand geen antwoord op deze vraag heeft, dan is het de Nederlandse ontwikkelingssector wel. Misschien moeten ze eerst maar eens een antwoord vinden op relatief eenvoudige vragen, zoals wat de impact van hun complexe programma’s is.’

Thomas de Hoop werkte op persoonlijke titel mee aan dit interview.