In het zojuist verschenen nummer van Vice Versa geeft Vice Versa een inkijkje in de experimentele wetenschap in een portret van de Wageningse Development Economics vakgroep. Deze week op deze site een serie interviews met de leden van de vakgroep. Vandaag financieel econoom Robert Lensink, professor aan de Rijksuniversiteit Groningen en één dag in de week verbonden aan de Wageninger vakgroep. Gaan mensen ongezonder leven als ze onconditionele cash transfers krijgen in plaats van conditionele? En hebben financiële trainingen voor vrouwen meer effect wanneer zij ook hun echtgenoot mee mogen nemen? Lensink zocht het uit.

Toen Erwin Bulte in 2010 hoogleraar werd bij de vakgroep Ontwikkelingseconomie, vroeg hij professor Lensink erbij voor de nodige diepgang op het gebied van financiering en ontwikkeling. Sindsdien is Lensink, die voorheen meer macro-economisch onderzoek deed, zich gaan toeleggen op experimentele methodes om daarmee de impact van ontwikkelingsinterventies te meten. ‘In het verleden werden evaluaties niet heel robuust uitgevoerd. Je kon moeilijk aangeven wat de causaliteit is geweest. Met experimentele methodes kun je beter onderzoeken wat de effecten zijn van een interventie’, motiveert de Groningse wetenschapper (lees hier hoe dat precies werkt). Bijkomend voordeel is dat je eens achter je bureau wegkomt. Lensink: ‘Voor macro-studies hoef je in principe nooit naar Afrika te reizen. Het is erg leuk om zelf op pad te gaan in het veld en kijkt wat er ter plekke gebeurt.’

Op dit moment is Lensink, samen met Erwin Bulte en PhD-student Nhung Vu die het onderzoek uitvoert, bezig met een grote Randomised Control Trial (RCT) in Vietnam op het gebied van training en microfinanciering. Een groep van 4,000 vrouwen werd voor dit onderzoek in drie groepen verdeeld en wordt drie jaar lang gevolgd. Eén groep krijgt een training in bedrijfsvoering, een andere krijgt geen training, en een derde groep mag de echtgenoot bij de training uitnodigen. Op die manier proberen de onderzoekers het effect te meten van de trainingen en of het verschil uitmaakt als de echtgenoten ook meedoen. Zojuist is er een midline survey afgerond (die wordt gehouden tussen de 0-meting en de eindmeting in) en de analyse is in volle gang. Uniek is dat het een redelijk grootschalige studie is, en daardoor hebben de onderzoekers meer mogelijkheden om verbanden aan te tonen.

Wat voor impact wilt u meten?

‘We kijken of de vrouwen kennis van bedrijfsvoering hebben gekregen en of ze de praktijk van hun bedrijfje veranderen. Gaan ze nu bijvoorbeeld boekhouding bijhouden? We kijken ook naar empowerment, of vrouwen meer macht hebben gekregen om te onderhandelen binnen het huishouden. Als laatste kijken we of de vrouwen ook een hoger inkomen hebben gekregen.

We hebben nog niet alles geanalyseerd, maar het lijkt erop dat de trainingen grote effecten hebben op het kennisniveau en de praktijk van bedrijfsvoering. Meer mensen houden bijvoorbeeld hun boekhouding bij. Er is echter weinig effect op het opzetten van nieuwe bedrijfjes. Ook verkopen de vrouwen niet meer producten dan anders, en maken ze geen hogere winsten. Er lijkt dus vooralsnog nog geen effect te zijn op het inkomen.

Het kan zijn dat dat langer duurt, maar de conclusies zijn wel in overeenstemming met studies van de laatste twee jaar. Men was in het begin heel enthousiast over microkrediet, het werd een soort hype. Toen bleek dat microfinanciering niet zoveel impact had op het vergroten van het inkomen, ging de hulpgemeenschap zich richten op trainingen. Maar men ziet nu dat ook dat niet zo makkelijk gaat. Dat is ergens wel te voorspellen: misschien is het wat te veel gevraagd van trainingen om ook het inkomen van mensen te verhogen.

Wat ons meer verbaast in deze studie, is dat er heel weinig effecten zijn als je de mannen erbij haalt. Daar hadden we heel veel van verwacht, maar we vinden tot nu toe nog niet veel.’

Wat had u verwacht?

‘Er is veel discussie of microkredieten nu wel of niet goed zijn voor empowerment van vrouwen. Uit studies blijkt dat het niet perse leidt tot empowerment. Er gaat namelijk veel microkrediet alleen naar vrouwen en dit kan tot frictie leiden in gezinssituaties doordat mannen jaloers worden en het geld van vrouwen afpakken. Daarom is nu de trend om mannen erbij te betrekken. Misschien dat je dan die fricties kunt voorkomen, is de gedachte. Dat blijkt volgens onze studie niet zo te zijn. We vinden weinig verschil in empowerment voor de vrouwen die alleen de trainingen volgden en die waar de mannen ook waren uitgenodigd.’

Hoe meet je empowerment?

‘Dat is ongeveer het lastigste wat je kunt doen. Je kunt mensen vragen: “wie neemt de beslissingen op dit terrein?” Maar mensen kunnen liegen. Of ze kunnen invullen wat politiek correct is. We meten het daarom ook met lab-in-the-field experimenten, zo hebben we een bargaining game gedaan. In dit experiment geven we zowel aan de man als aan de vrouw geld, stel, tien euro. We nemen ze beide apart, en vragen ze hoeveel geld ze aan iets uit willen geven, aan onderwijs bijvoorbeeld. Stel nu dat de vrouw acht euro aan onderwijs wil besteden en de man één euro. Vervolgens roepen we ze beide bij elkaar en vragen we ze om gezamenlijk een beslissing te maken. Als er nu bijvoorbeeld zeven euro naar onderwijs gaat, dan kun je ervan uitgaan dat de vrouw veel macht heeft in het maken van beslissingen in het huishouden. Uit dit experiment blijkt dat er weinig verschil is tussen de verschillende groepen, dus de macht van de vrouw om te onderhandelen lijkt er niet wezenlijk op vooruit te gaan na het doen van trainingen en ook niet als haar echtgenoot erbij is.

We vinden iets meer effect bij een hiding game. In dit spelletje krijgen mannen een x bedrag, bijvoorbeeld tien euro. Ze kunnen ervoor kiezen het volle bedrag te ontvangen, maar kunnen ook besluiten slechts acht euro te krijgen. Als ze tien euro krijgen, vertellen we het door aan zijn vrouw. Als hij voor acht euro kiest, vertellen we niets. Wat we wilden meten is: zijn mensen bereid minder geld te accepteren om iets verborgen te houden voor je partner? Normaal zou wel tien euro willen in plaats van acht euro. Maar je kunt redenen hebben om aan je partner niet te vertellen wat je gekregen hebt. Als de training tot meer bargaining power van vrouwen zou leiden, zou dat een negatief effect kunnen hebben op mannen die denken: mijn vrouw wordt veel te machtig, nu ga ik meer verstoppen.

Opmerkelijk is dat we niet vinden dat de training tot meer bargaining power leidt. Maar we vinden wél dat de man meer gaat hiden als zijn vrouw naar de training is geweest en de man niet. Als de man daarentegen wel mee is geweest naar de training, hebben ze minder neiging hun geld achter te houden. Wat voor dynamiek dat precies is, zijn we nog aan het onderzoeken.’

Doen jullie ook kwalitatieve metingen?

‘Ja, we vragen wat de vrouwen van de trainingen vinden en wat ze ervan vinden dat mannen er wel of niet bij zijn. Uit die discussie komt naar voren dat vrouwen het heel belangrijk en mooi vonden dat mannen erbij waren. Als mannen bij discussies waren, was het niveau van de discussies beter, vonden zij, omdat mannen meer uit hun eigen ervaring kunnen praten gezien ze vaker bedrijfjes hebben gehad.’

U heeft ook onderzoek gedaan naar cash transfers in India?

‘Dat klopt. In India krijgen mensen die onder de armoedegrens leven een kaart waarmee ze naar een winkeltje kunnen gaan en tegen gesubsidieerde prijzen voedsel kunnen kopen, met name graan. In een bepaalde wijk in Delhi hebben we mensen de mogelijkheid gegeven die kaart om te wisselen tegen een onconditionele cash transfer, dus die kregen iedere maand geld equivalent ter waarde van de kaart. Over een periode van een jaar onderzochten we de vraag: gaan mensen ongezonder leven en meer alcohol drinken als ze een subsidiekaart hebben of niet?

In India is dat namelijk een grote discussie. Enerzijds kun je zeggen, door zo’n kaart dwing je mensen beter te eten. Maar economen zouden zeggen, waarom laat je mensen zelf niet bepalen? In India zorgt het systeem van de subsidiekaart voor bureaucratische rompslomp, want zo’n kaart mag alleen maar gebruikt worden in bepaalde winkels. Zo werkt het de monopoliepositie van die winkel in de hand en kan het leiden tot corruptie. Dus is er veel voor te zeggen het af te schaffen.’

En wat waren de conclusies?

‘We vinden niet waar men bang voor is, namelijk dat mensen veel ongezonder gaan leven als ze de onconditionele cash transfer krijgen. De totale consumptie van calorieën bleef hetzelfde. Wel gingen mensen ander soort gezond voedsel eten. Meer fruit bijvoorbeeld, want de subsidiekaart was erg gericht op granen. Er was dus een verandering in het voedselpakket, maar geen verslechtering. Dit was in Delhi, dus dat kan in een dorp natuurlijk heel anders te zijn, moet ik er als kanttekening bij plaatsen.

Een ander effect was dat de winkeltjes elkaar onderling meer gingen beconcurreren. Op het moment dat je mensen de mogelijkheid geeft geld vrij te besteden en ze niet meer naar één winkel hoeven te gaan, worden de winkeltjes die op subsidie draaien efficiënter om aan klantenbinding te doen. Die subsidiewinkeltjes waren er overigens helemaal niet blij mee dat we deze studie deden. Zij verdienen natuurlijk goed aan het systeem. Onze onderzoekers werden zelfs bedreigd, dus moesten we onze voorlichting in het geheim houden.’

Is het nog wel een Randomised Control Trials als jullie mensen vragen of ze mee wilden doen of niet?

‘Dit experiment is gedaan samen met de overheid van Delhi en die wilden niet zomaar mensen een kaart afpakken. We konden hier daarom moeilijk gaan randomiseren en mensen dwingen hun kaart in te leveren in ruil voor geld. We moesten dus vragen of mensen mee wilden doen of niet. Dus je werkt met een soort selection bias, waar we praktisch niet onderuit kwamen.

Dat heeft tot gevolg dat we niet weten of hetzelfde effect er zal zijn als je het hele systeem omgooit en alleen nog maar met onconditionele cash transfers gaat werken. Het kan zijn dat de mensen die bewust niet meededen aan het experiment, juist de vrouwen waren die bang waren dat hun man alcohol zouden gaan kopen van het subsidiebedrag. Wat ons experiment laten zien, is dat, als je mensen de mogelijkheid geeft om te switchen, dat heel goede effecten heeft. Dat wil niet zeggen dat dat ook zo is als je het verplicht omdraait.’

Wat is nu het effect van zo’n studie?

‘De resultaten zijn natuurlijk teruggekoppeld aan de Indiase overheid. Wat die er mee gaat doen, dat weet ik niet. De partner in India met wie we dit onderzoek deden regelt dat en heeft daar verdere discussies over.’

Wat was het innovatieve aan deze studie?

‘Er zijn heel veel cash transfer onderzoeken geweest, maar weinig in de vorm van RCT’s. En de meeste onderzoeken zijn op educatie gericht. Ik ben nu bijvoorbeeld betrokken bij een onderzoek in Orsissa in India naar het effect van cash transfers op naar schoolgaande meisjes van 14 jaar. In die regio zijn er veel drop outs. Wij kijken op een experimentele manier naar additionele factoren die drop outs naar school kunnen verminderen. Zo proberen we in meerdere dorpen op verschillende manieren het transport veiliger te maken. De middelbare scholen liggen ver van dorp af en meisjes moeten lopen naar school. Dat is gevaarlijk en dus gaan ze soms niet meer.

In één groep dorpen maken we nu gebruik van minibusjes met een begeleider, in een andere groep gaan de meisjes met een openbare bus naar school, ook met een begeleider, en in een laatste groep zijn er fietsclubs waar een begeleider meefietst. Die studie is net begonnen. Begin januari zijn we naar Orisssa geweest met die minibusjes en we werden als koning binnengehaald door de dorpelingen die maar wat blij waren met de gratis busjes.’

Zijn micro-studies nu nuttiger om iets over ontwikkeling te weten te komen dan macro-studies?

‘Het is een wisselwerking. Beide zijn van belang. Macro-hulpstudies zijn een tijdje heel erg in geweest, maar om eerlijk te zijn kom je daar niet veel verder mee. Het is belangrijk te weten wanneer iets helpt en wanneer niet. Met microstudies kun je echt kijken welke interventie wel of niet helpt. Het grote voordeel van microstudies is dat je veel beter de causaliteit kunt onderzoeken en beter kunt bekijken of de verandering toe te schrijven is aan de interventie. Maar de externe validiteit is vaak heel laag: het is heel moeilijk om datgene wat je vindt in Rwanda te generaliseren naar Mexico. Bij macrostudies kijk je meer naar gemiddeldes, dus is het gemakkelijker te generaliseren.

Ik denk nog steeds dat de belangrijkste verandering in landen macro-economisch zijn. Overheidsbeleid, handel, belastingsystemen.. Ik doe daarom nog steeds beide typen onderzoek. Zo kijk ik ook naar kapitaalvlucht uit Afrikaanse landen en de effecten van financiële liberalisatie op inkomensverdeling. Kort gezegd, het ene is niet beter dan het andere, maar het beantwoordt andere vragen en je hebt ze beide nodig.’

Wat kun je doen tegen de zwakke externe validiteit van RCT’s?

‘De enige manier is heel veel replicatiestudies te doen, dus gelijksoortige studies in verschillende omstandigheden. En dan ook zoveel mogelijk naar heterogene effecten te kijken. Dat betekent dat je niet alleen de gemiddeldes analyseert, maar ook kijkt naar de verscheidenheid in je data en daarmee vervolgens verklaart waarom iets wel of niet werkt. Alleen maar concluderen dát iets wel of niet werkt, daar heb je niet zoveel aan: je wilt ook weten waarom. Daarom kijken we bijvoorbeeld in die microkredietstudie ook naar verschillende manieren van trainingen geven, zodat je kunt kijken welke manier de meeste effect heeft.

Het belang van replicatiestudies werd heel lang te weinig onderkend, met name in de economische wetenschap. Gelukkig is dat nu wat beter en er worden nu zelfs beurzen voor verstrekt, maar lange tijd kreeg je weinig handen op elkaar voor replicatiestudies. Waarom zou je een studie die al gedaan is, maar dan in ander land, publiceren? krijg je dan van tijdschriften te horen. Ikzelf vind het wel heel belangrijk.’

Meer lezen over de onderzoeken van de Wageningse Development Economics Group? Lees dan de nieuwste Vice Versa! Neem snel een abonnement of bestel het los. Ontvang bij een abonnement gratis het boek ‘Congo Codes’ van Dirk Jan Koch of ‘Minder Hypes, Meer Hippocrates’ van Marc Broere en Ellen Mangnus.