In het vorige maand verschenen nummer van Vice Versa geven we een inkijkje in de wereld van de experimentele wetenschap met een portret van de Wageningse Development Economics vakgroep. Deze vakgroep gebruikt experimentele methodes à la Esther Duflo (auteur van het boek Arm en Kansrijk) om erachter te komen wat de beste methodes zijn om tot ontwikkeling te komen. Op deze site praten we verder met de leden van de vakgroep. Vandaag met Gonne Beekman. ‘Soms moet wetenschap wijken voor de doelen van ngo’s.’ 

Wanneer ik Gonne Beekman (31) spreek in de kantine van de Wageningse Leeuwenborch, is de assistent-in-opleiding en PostDoc zojuist terug uit Liberia. Daar leidt ze een groot team van onderzoeksassistenten. Ze is er vooral bezig geweest met het implementeren van het nieuwste technische snufje in de wetenschappelijke wereld: tablets. Hiermee kunnen de onderzoekers gemakkelijk via het scherm hun vragenlijsten afnemen en zijn ze er zeker van dat ze niet een vraag vergeten. Bovendien scheelt het nogal wat papier. Zo moest Beekman bij haar laatste reis een rugtas met 23 kilogram papier meeslepen die ze nog had verzameld voor haar vorige onderzoek.’

Wat voor projecten heb je in Liberia geëvalueerd?

‘Ik evalueer daar projecten in het kader van het Tweede Medefinancieringsstelsel, MFS-II. Eén van de projecten die ik evalueer zijn adult literacy classes die negen maanden duren. Veel volwassenen zijn ongeletterd en dit is vaak de eerste keer dat ze kennis maken met pen en papier. De lessen hebben vooral tot doel om mensen mondiger te maken. Als er bijvoorbeeld dorpsvergaderingen zijn, moet iedereen pen en papier meenemen. Ongeletterde mensen zijn dan eigenlijk niet welkom en die literacy classes kunnen ervoor zorgen dat mensen toch komen, meer zelfvertrouwen krijgen en mondiger worden. We meten dat door hen vragen te stellen: wat denken mensen van hun Chief, wat zouden ze doen als ze vinden dat hun Chief niet goed functioneert?

Een ander project is dat ik evalueer is van SPARK. Hierbij gaat het om businessplan competities. Studenten schrijven een businessplan en de beste voorstellen worden geselecteerd. Zij mogen deelnemen aan een business training en de besten krijgen een start up fee om daadwerkelijk hun bedrijfje op te starten. Het doel is niet alleen dat jongeren hun eigen bedrijven opzetten, maar vooral ook dat er werkgelegenheid wordt gecreëerd. We onderzoeken of de mensen die deel hebben genomen aan het programma ook echt een bedrijfje hebben opgericht en of ze ook mensen aan het werk hebben gezet.’

Volgens welke methode meet je dat?

‘In dit geval is het lastig een goede controlegroep te vinden. De mensen die een interventie krijgen zijn de mensen die een competitie hebben gewonnen. Dan kun je moeilijk randomiseren, omdat je in dit geval juist niet willekeurig wilt selecteren: je selecteert namelijk de mensen die een bepaalde capaciteit hebben. Daarom maken we in dit geval gebruik van een zogenaamde regression discontinuity design. Dat gaat als volgt: de voorstellen van de studenten worden gescoord op een schaal van 1 tot 5. De besten gaan door en de anderen niet. De voorstellen die net wel zijn doorgegaan en die net niet zijn doorgegaan, zijn met elkaar vergelijkbaar. Als je dus de groep aan de ene kant van de grens meet met de groep net aan de andere kant van de grens, kun je ervan uitgaan dat je een goede controlegroep hebt.

Twee jaar geleden hebben we een 0-meting gedaan, en nu is een onderzoeksassistent al die mensen weer aan het opsnorren. Hij moet er wel een paar honderd zoeken in Monrovia en Buchanan, de twee grootste steden van Liberia.  Alles wat hij heeft is een naam en telefoonnummer, maar in twee jaar kan er heel wat veranderd zijn. Dat is een hele klus dus.’

Wat verwacht je dat er met de resultaten uit de MFSII-evaluatie wordt gedaan?

‘Ik hoop dat ontwikkelingsorganisaties zelfbewuster worden en beseffen dat het belangrijk is niet alleen te implementeren, maar ook te kijken wat uiteindelijk de impact is. Daar hebben organisaties vaak geen tijd voor. Ze zijn zo druk met implementeren en het aanvragen van fondsen en verantwoording, dat er weinig tijd is voor kritische reflectie.’

Verwelkomen ngo’s je moet open armen?

‘Ze verwelkomen me soms een beetje gereserveerd. Wie ben je eigenlijk? Misschien kom je ons wel bekritiseren? Dat is een beetje het gevoel. Misschien is het een soort angst. Stel dat hier nu uitkomt dat het geen zin heeft, dan kan dat implicaties hebben voor funding. De wereld van de ngo-medewerkers en die van onderzoekers zijn ook echt verschillende werelden. Wij onderzoeken en kunnen bekritiseren, maar doen het niet zelf. Dat is een heel comfortabele positie. Ngo’s moeten uiteindelijk de programma’s implementeren en de keuzes maken. Daarnaast gebruiken wij vrij rigoureuze methodes om goed impact te meten en daar krijgen we de tijd en het budget voor. Maar ik hoor als klacht onder ngo’s wel eens dat zij nooit budget krijgen voor een goede designfase van het project. In de ontwikkelingswereld heerst het motto: al het geld moet besteed worden aan de implementatie. Eigenlijk zouden donoren ook al geld uit moeten trekken voor de design- en leerfase van een ngo.

Een ander nadeel binnen de MFS-II evaluatie is dat wij vooral kijken naar de millenniumdoelen, terwijl sommige ngo’s zeggen: dat zijn niet onze doelstellingen. Toch moet er aan de hand van die doelstellingen worden geëvalueerd, omdat het ministerie wil zien wat voor impact hun ontwikkelingsgeld heeft op de MDG’s. Een van de MDG’s is bijvoorbeeld dat er meer kinderen naar school moeten. Onder dat project heeft Save the Children wel scholen opgeknapt en gebouwd, maar of dat nu tot meer participatie leidt is de vraag. Terwijl het misschien wel leidt tot verbeterde kwaliteit van de scholing.

Gelukkig kunnen we ons wel wat vrijheid veroorloven. Zelf vind ik het ook interessanter te kijken naar de daadwerkelijke uitkomsten en niet naar wat de uitkomsten zouden moeten zijn volgens de Nederlandse overheid. Daarom voegen we wat vragen toe aan de questionnaires die voor ngo’s interessant zijn. In die week dat ik daar was heb ik hier uitgebreid met de ngo’s over kunnen praten.’

In het laatste nummer van de Vice Versa vertelt Beekman over haar onderzoek in Liberia, waar ze tussen 2009 en 2012 met een Randomized Control Trial een project van ZOA onderzocht dat de voedselproductie beoogde te vergroten en samenwerking en vertrouwen moest creëren in het post-conflict land. Boeren werden getraind en werkten op gemeenschappelijke stukjes land. Beekman ontdekte echter dat de voedselproductie niet omhoog ging. De arbeid op het gemeenschappelijke perceel ging ten koste van de arbeid op het eigen veldje van de boer en op het gemeenschappelijke stuk land werd niet efficiënter gewerkt. Daarnaast verminderde het vertrouwen tussen dorpelingen en waren ze juist minder geneigd tot samenwerking.

Wat vond ZOA van de resultaten?

‘Ze begrepen het en waren er zelf ook al achter gekomen dat het project niet werkte. Misschien was mijn onderzoek dan wel een beetje mosterd na de maaltijd’, lacht Beekman, ‘toch zijn de inzichten ook relevant voor andere Farmer Field Schools. Natuurlijk gaat de situatie in Liberia niet perse op voor andere projecten, maar veel Farmer Field Schools voldoen aan dezelfde kenmerken. Daar zou dus eenzelfde soort dynamiek kunnen voorkomen. Nieuw was ook het inzicht dat het programma leidde tot minder vertrouwen. ZOA heeft nu gekozen voor een meer individuele benadering.’

Zijn RCT’s zoals deze de ideale methode om impact van hulpinterventies te meten?

‘Het ligt eraan wat voor programma je wilt evalueren. RCT’s zijn heel rigoureus, maar ze zijn niet in alle gevallen mogelijk. Soms kun je geen goede controlegroep vinden. Als een interventie er heel anders gaat uitzien dan wat er in de werkelijkheid zou gebeuren, is het de vraag of RCT’s nuttig zijn. Soms moet de wetenschap wijken voor de doelen van ngo’s.

Tijdens mijn ZOA-onderzoek heeft mijn onderzoeksteam willekeurig dorpen geselecteerd. Normaal gesproken zou ZOA gewoon naar een dorp gaan en vragen wie er geïnteresseerd is om deel te nemen. De mensen die niet geïnteresseerd zijn, worden dan niet geselecteerd. Het zou kunnen dat het programma daardoor minder impact had. Misschien zijn in ons geval meer mensen afgehaakt omdat ze toch niet geïnteresseerd waren. Dat kan een nadeel zijn.’

Vind je in dit geval dat de RCT gerechtvaardigd was of is het zonde voor wat het project had kunnen bereiken?

‘Ik vind het gerechtvaardigd, maar ik ben benieuwd of het nu veel effectiever was geweest als we alleen met gemotiveerde mensen hadden gewerkt. Aan de andere kant weet ik niet in hoeverre het had uitgemaakt. In dit programma moesten mensen veel tijd en input leveren. Vaak willen mensen in eerste instantie wel meedoen en haken ze later toch af.’

Wanneer moet je echt niet willen randomiseren?

‘Bijvoorbeeld op een moment dat het echt een bottom up project is waarbij het heel belangrijk is dat mensen zelf eigen groepjes vormen. Of een business competitie, zoals van SPARK waarover ik het zojuist had. Je wilt daarbij de mensen die het beste potentieel hebben. Dan heeft het geen zin een random selectie te maken. Een tijdlang was het in de economische wetenschap echt een must om RCT’s te gebruiken. Tegenwoordig is het algemene beeld wel iets genuanceerder, je kunt het niet altijd doen.’

Wat is je drijfveer om dit werk te doen?

‘Dat is nieuwsgierigheid. Hoe werken dingen nu? Ik neem er geen genoegen mee dat dingen zo zijn en dat dan maar aan te nemen. Maar mijn doel is niet alleen papers te publiceren; ik wil ook dat die kennis en ervaring terugvloeit in beleid. Alleen maar academische publicaties produceren, zou ik uiteindelijk niet bevredigend genoeg vinden. Tegelijkertijd ben ik blij dat ik de luxe heb om een stap terug te zetten en onderzoek te doen naar intrigerende vraagstukken, waarvoor ngo’s vaak niet voldoende tijd hebben.

De combinatie tussen onderzoek en praktijk vind ik heel interessant en daar wil ik voorlopig graag in verder. Dat kan hier, op de universiteit,maar dat kan eventueel ook in een andere setting. Ik kan me voorstellen dat nu ontwikkelingsorganisaties reorganiseren, sommige organisaties misschien een onderzoeksafdeling openen. Daar zouden onderzoek en praktijk elkaar natuurlijk ook goed kunnen ontmoeten.’

Hoe zorg je dat je werk terugvloeit naar de praktijk?

‘Wetenschappelijke publicaties zijn heel technisch, die ga je als beleidsmedewerker niet lezen. Je moet dus een vertaalslag maken van publicaties voor academische wereld naar toegankelijker materiaal voor een breder publiek. Het MFS-II evaluatieproject zal bijvoorbeeld uitmonden in zowel beleidsrapporten voor het ministerie en de betrokken ngo’s als in een wetenschappelijke publicatie. In andere onderzoeksprojecten organiseren we vaak een bijeenkomst voor stakeholders, waarin bevindingen van het onderzoek worden gedeeld met betrokkenen. In de komende tijd wil ik graag bekijken welke mogelijkheden er zijn voor nieuwe verbindingen tussen wetenschap en praktijk.’

Meer lezen over de onderzoeken van de Wageningse Development Economics Group? Lees dan de nieuwste Vice Versa! Neem snel een abonnement of bestel het los. Ontvang bij een abonnement gratis het boek ‘Congo Codes’ van Dirk Jan Koch of ‘Minder Hypes, Meer Hippocrates’ van Marc Broere en Ellen Mangnus. Lees ook de andere interviews met de Wageningse wetenschappers in ons wetenschapsdossier.