Erwin Bulte: ‘Impact meten om te leren, niet om te controleren’

In het zojuist verschenen nummer van Vice Versa geven we een inkijkje in de wereld van de experimentele wetenschap met een portret van de Wageningse Development Economics vakgroep. Deze vakgroep gebruikt experimentele methodes à la Esther Duflo (auteur van het boek Arm en Kansrijk) om erachter te komen wat de beste methodes zijn om tot ontwikkeling te komen. Komende week verschijnen er op deze sites interviews met de leden van de vakgroep. Allereerst praten we verder met Erwin Bulte, hoofd van de vakgroep.

Hij hoeft niet zo nodig met op de tv of zich te mengen in het publieke debat. Hoogleraar ontwikkelingseconomie Erwin Bulte mag de beste econoom zijn van Nederland, liefst gaat hij zijn eigen gang in het wetenschappelijke wereldje van de ontwikkelingseconomie. Niet dat Bulte zich onttrekt aan de buitenwereld: zo zit hij in de expertgroep voedselzekerheid van DGIS en werkt hij graag samen met ngo’s om onderzoek te doen. Maar publicaties in goede tijdschriften is toch zijn grootste drijfveer, zo vertelt hij in het laatste nummer van de Vice Versa. Zijn benoeming als beste econoom door vakblad De Economist heeft hij dan ook te danken aan zijn veelvuldige publicaties in hoogkwalitatieve tijdschriften.

In de jaren ’80 begon Bulte als student tropische bosbouw in Wageningen. Min of meer toevallig rolde hij de wetenschap in, toen een leraar hem vroeg bij hem een Phd te doen. Zijn wetenschappelijke carrière daarna vervolgde hij in Tilburg als ontwikkelingseconoom. In 2008 kreeg hij het aanbod in Wageningen te beginnen. ‘Het leek me interessant, want in Tilburg, en ook op veel andere universiteiten, ben je een individu binnen een hele grote groep economen. Hier gaat het echt om een vakgroep, je stelt samen onderzoeken op, coördineert lessen samen, gedeelde verantwoordelijkheid. Daardoor heb je ook meer slagkracht om grotere onderzoeken te doen.’

Het onderzoek waar u als econoom misschien wel de meeste faam mee maakte, was het onderzoek waarin u de grondstoffenvloek van de beroemde wetenschapper Paul Collier weerlegde dat ook verscheen in Science. Kunt u daar meer over vertellen?

‘Collier gaat ervan uit dat landen met veel natuurlijke hulpbronnen langzamer groeien doordat ze slechte instituties hebben en er vaker conflict is. Wij keken allereerst eens goed naar zijn maatstaf voor hulpbronnen, dat is namelijk een hele rare maatstaf. Hij deelt primaire export door het nationaal inkomen. Dat is niet een maatstaf voor hoeveel hulpbronnen er zijn, maar een maatstaf voor hoe afhankelijk je bent. Een straatarm land dat niets anders doet dan alleen maar jute exporteren, heeft volgens deze maatstaf heel veel natuurlijke hulpbronnen.

Vervolgens keken we naar de causaliteit van het verhaal van Collier. Is het wel zo dat afhankelijkheid van natuurlijke hulpbronnen leidt tot conflict? Of is het precies andersom? Misschien leidt conflict wel tot afhankelijkheid van natuurlijke hulpbronnen? Dat zit zo: als je in een oorlog verzeild raakt en je economie zit aan de grond, stoppen je investeringen en vlucht het kapitaal het land uit. Alle bedrijvigheid komt tot een einde. Het enige dat je nog hebt, zijn je natuurlijke hulpbronnen. Daar valt namelijk altijd nog wel wat te boren en te mijnen, dus dat kun je exporteren. Met andere woorden: de afhankelijkheid wordt verklaard door oorlog in plaats van andersom. Hetzelfde kan op gaan voor slechte instituties. Leidt afhankelijkheid van hulpbronnen tot slechte instituties, óf zorgen slechte instituties voor minder investeringen in bedrijvigheid zodat die landen stagneren en afhankelijk worden van hulpbronnen?’

Wat was de conclusie?

‘We hebben er statistieken op losgelaten en het is precies dat laatste. Het causale verband loopt van conflict en slechte instituties naar afhankelijkheid in plaats van andersom. We bedachten ook een andere maatstaf voor hulpbronnen, namelijk simpelweg: wat zit er in de grond? Dan klappen alle verbanden opeens om: landen met meer hulpbronnen hebben meer geld, minder vaak oorlog, en uiteindelijk zie je dat die hulpbronnen helemaal geen rol meer spelen als het gaan om conflict of instituties. Dat is dus wel een zeepbel die is doorgeprikt.’

Waarom zien we de grondstoffenvloek dan nog steeds terugkomen in het debat?

‘In de economische literatuur was dit een enorme hype en nu is het op sterven na dood. Als je hier nog over wilt schrijven moet je wel van goeden huize komen. In het publieke debat druppelt het nog langzaam door, maar over paar jaar zijn jullie er ook wel klaar mee. Zelf vind ik het totaal niet meer interessant. Het is leuker om veel effect te hebben op een positieve manier dan opzien baren door een concept van andere mensen onderuit halen. Dit type onderzoek is ook niet representatief voor wat we nu wel doen.’

Wél representatief zijn de Randomized Control Trials en lab-in-the-field experimenten die de vakgroep gebruikt, zoals gisteren beschreven op deze website. Hoe deze methodes in praktisch onderzoek worden toegepast, en wat ook de tekortkomingen ervan zijn, is te lezen in het nieuwe nummer van Vice Versa dat deze week verschenen is. Zo werd er bijvoorbeeld in Sierra Leone in een sample van 100 dorpen onderzoek gedaan naar verschillende manieren van hulp geven: direct hulp geven (onconditioneel), hulp geven nadat mensen een weg moesten bouwen (conditioneel) of geen hulp. Door willekeurig aan te wijzen welk dorp wel of niet hulp kreeg, werden met  RCT’s de effecten gemeten.

Een van de veel gehoorde kritiekpunten op RCT’s is dat de samples vaak te klein zijn. Zo zou een sample van 100 niet zo groot zijn. Is dat inderdaad een probleem?

‘De omvang van de sample die je nodig hebt, kun je met power calculations berekenen. Als je in een heel klein effect wilt meten, dan heb je een hele grote steekproef nodig. Maar zo’n piepklein effect is wellicht niet zo interessant. Als je geïnteresseerd bent in effecten die groot zijn, en je weet iets over de natuurlijke variatie in de populatie, kun je berekenen hoe groot de steekproef moet zijn. Dan kom je uit op honderd of enkele honderden dorpen en voor sommige vragen heb je meer nodig.

Als we geen effect vinden in onze data, betekent dat niet perse dat er geen effect is. Maar als er al een effect is, is het zo klein dat het vaak niet interessant is. In dit specifieke geval in Sierra Leone werd de steekproefomvang bepaald door de ngo die een bepaald budget had. We hadden liever meer dorpen gehad. Als je nu niets vind, kun je niet zeggen: het heeft totaal geen effect. Je moet altijd een slag om de arm houden.’

In één experiment dat in het blad wordt beschreven toonde Bulte in een revolutionair onderzoek aan dat het belangrijk is ook rekening te houden met het effect van gedragsverandering. Dat deed hij in een dubbelblind onderzoek door aan een groep boeren verbeterd zaaizaad te geven en aan een andere groep een placebo. De oogst van de boeren die verbeterd zaaizaad hadden gekregen verschilde niet met de oogst van boeren die een placebo kregen: het verschil in oogst was dus te wijten aan een gedragsverandering van de boer en die gedragsverandering kan ten koste gaan van iets anders. Het onderzoek baarde internationaal veel opzien en haalde zelfs The Economist.

Hoe kunnen we de conclusies van dat onderzoek toepassen op ‘klassieke RCT’s’? Bijvoorbeeld die van Esther Duflo, die onderzoek deed naar het effect van ontwormingspillen op het naar school gaan van kinderen en concludeerde dat kinderen met ontwormingspillen vaker naar school gingen.

‘Als je wilt kijken naar het daadwerkelijke netto effect van de ontwormingspil op scholing, moet je corrigeren voor andere dynamieken die kunnen ontstaan door het experiment. Als wij kinderen een pil geven, worden ze minder ziek, is de gedachte. Misschien gaan de ouders daardoor meer investeren in voeding. Ze hebben het gevoel dat hun kinderen nu echt de kans krijgen om veel te leren en sturen ze naar school of de universiteit. Dan meet je dus niet alleen het effect van die pil, maar ook die van extra voeding.

Dat is op zich niet erg, maar dat extra eten gaat wel ten kosten van iets anders. Misschien eten de ouders zelf minder. Misschien gaan ze harder werken. In ieder geval, ze hebben ergens een offer gebracht door de kinderen extra eten te geven. Dat leidt tot een verlies en daarvoor zou je moeten corrigeren. De impactmeting beperkt zich tot het meten of kinderen het beter doen op school, maar als je het welvaartseffect wilt weten, moet je wel corrigeren dat het voedsel dat dat welvaartseffect verklaart ergens vandaan moet komen. Gedragsverandering brengt dus kosten en baten met zich mee waarvoor je moet controleren.’

Merkt u toegenomen interesse bij ngo’s voor impactevaluaties?

‘Ngo’s komen in toenemende mate naar ons toe, maar dan wel met de vraag: we willen graag iets leren, niet om te worden gecontroleerd. Dat vind ik ook de plezierigste manier om te werken. Dat je samen een onderzoek opzet om iets te leren en niet om als een soort politie-agent achteraf te zeggen wat wel of niet werkt. De ontwikkelingssector zit af en toe wel wat in het verdomhoekje, zie ik. Ze zijn meer aan verantwoording onderworpen dan andere sectoren en het beeld bestaat dat er meer geld verspild word. Daarom wordt er meer gecontroleerd. Dat is een type vraag naar onze diensten waar we tot op zekere hoogte in meegaan, maar uiteindelijk niet meer. Dat moeten consultancy bureau’s dan maar doen.

Zelf gaan we richting “impactevaluatie 2.0”. Voor ons moet er ook een wetenschappelijke theorie achter zitten, en die toetsen we empirisch om te falsificeren. Dat helpt je ook om uit het probleem van de zogenaamde externe validiteit te komen, namelijk het probleem dat jouw onderzoek alleen iets zegt over de specifieke context waar je onderzoek doet. Koppel je het aan een economische theorie, dan kun je behalve over een specifiek project ook iets zeggen over de bredere theorie erachter.’

Kunt u daar een voorbeeld van geven?

‘Een voorbeeld van een mooie samenwerking vind ik met SNV. Zij brengen biodigesters aan de man waarvan soms 50 % van de kosten door SNV worden betaald. Zij waren benieuwd naar de vraag: zouden mensen die wij nu geld geven om een biodigester te kopen, zelf ook niet zo’n ding neergezet? Een phd-student heeft in Kameroen in al die dorpen veilingen georganiseerd om die te kijken hoeveel mensen bereid waren te betalen voor biodigesters, en daaruit blijkt dat veel mensen bereid zijn om het volledige bedrag te betalen. Misschien is het dus een veel beter strategie om in een bescheiden subsidieprogramma waar alleen de allerarmsten hoeven te worden getrokken. Als onderzoeksgroep zijn we niet alleen geïnteresseerd in dat deel, maar ook in de vervolgvraag: als we heel veel subsidie geven aan boeren om biodigesters neer te zetten, betekent dat dan dat mensen het minder goed gaan onderhouden? Verpesten we de markt in de omgeving doordat andere mensen horen van die subsidie? Daar spint zich dan een hele theorie omheen: wat is nu een optimale subsidie en wat is het effect op de langere termijn omgang met producten?’

In het artikel concludeerden we dat er meer voorbeelden te vinden van hulp dat weinig of geen effect had dan van hulp dat wel effect had. Kunt u een voorbeeld noemen van een project wat u met RCT’s heeft geëvalueerd en dat wél een positief effect vond?

‘Ja hoor.  We hebben bijvoorbeeld positieve gevolgen gevonden van een training op het gebied van ondernemerschap voor vrouwen in Vietnam, en van een financial literacy training in Rwanda. Een aantal experimenten in Sierra Leone heeft ook positieve gevolgen gehad op de livelihoods van dorpelingen, of op natuurbescherming.’

Verder lezen over hoe deze methodes in de praktijk worden toegepast en welke resultaten dat oplevert? Lees dan de nieuwste Vice Versa! Neem snel een abonnement of bestel het los. Ontvang bij een abonnement gratis het boek ‘Congo Codes’ van Dirk Jan Koch of ‘Minder Hypes, Meer Hippocrates’ van Marc Broere en Ellen Mangnus.

Auteur
Selma Zijlstra

Datum:
10 juli 2014
Categorieën: