In het onlangs verschenen nummer van Vice Versa geeft Vice Versa een inkijkje in de experimentele wetenschap in een portret van de Wageningse Development Economics vakgroep. Deze week op deze site een serie interviews met de leden van de vakgroep. Na alle experimentele microstudies, is het vandaag tijd voor een macro-economisch verhaal met wetenschapper Jeroen Klomp. ‘Mensen denken te veel als ze een wetenschappelijk artikel lezen: dit is de waarheid. Nee, het is slechts een deeltje van de waarheid.’

Niet iedereen binnen de vakgroep Ontwikkelingseconomie in Wageningen houdt zich bezig met micro-economische veldstudies. ‘Je kunt de wereld niet redden met experimenten’, aldus hoogleraar en hoofd van de vakgroep Erwin Bulte in het laatste nummer van de Vice Versa. Zodoende is Jeroen Klomp als macro econoom aangesteld. Voor hem geen veldonderzoek en lab-in-the-field experimenten. ‘Ik vind het persoonlijk interessanter te kijken waarom bepaalde landen rijker zijn dan andere dan dat ik uitzoek waarom Pietje Puk in dorp X meer te besteden heeft dan Heintje H in dorp Y’, lacht hij. ‘Ik werk bijvoorbeeld veel met datasets van de Wereldbank: het voordeel is dat ik met één klik op de knop heel veel data heb. Het nadeel is dat héél veel andere onderzoekers óók met die data bezig zijn. Op het moment ben ik bezig met het effect van natuurrampen op economische groei. Er zijn wel dertig papers die daarover gaan: allemaal zetten ze het BBP aan de ene kant en een indicator van natuurrampen aan de andere kant. Toch proberen we allemaal een andere angle te vinden.’

Wat voor angle heb jij gevonden?

‘We hebben onder andere een meta-analyse gedaan. Dat houdt in dat we al deze studies over het effect van natuurrampen op economische groei hebben bekeken en gecodeerd. Op die manier proberen we het effect te verklaren dat in de studies wordt gevonden. Ongeveer de helft van al die studies die significante effecten vinden heeft te maken met publication bias. Dat houdt in dat wetenschappelijke tijdschriften ervan houden een hypothese bevestigd te zien. Je ziet daarom vaak dat studies precies de resultaten rapporteren die exact vinden wat hun hypothese is. Vrij veel studies in ons onderzoek vinden dat natuurrampen een negatief effect hebben op groei. Met econometrische methodes onderzoeken wij wat het beeld zou moeten zijn wanneer onderzoekers gewoon alles konden publiceren. Als we die publication bias er nu uitfilteren, vinden we nog steeds wel een negatief effect van natuurrampen, maar dat is vrij klein.

Zo zijn er eveneens meta-analyses gedaan naar hulp en economische groei. Ook daar wordt een groot deel van de studies verklaard door publication bias. Voor iedere berekening die je doet kun je wel twintig andere doen. Wetenschappers rapporteren slechts de berekeningen die positieve effecten vinden. In de meta-analyse werden een aantal simulaties gedaan en zo kwamen de onderzoekers erachter dat het effect wel 50 tot 80 % hoger werd geschat dan hetgeen reëel zou zijn. Opvallend is dat mensen die werken bij de Wereldbank veel meer positieve effecten vinden dan iemand die niet bij de Wereldbank werkt. Dat is logisch, want zij geven hulp. Dus vaak willen onderzoekers iets vinden en alle resultaten die dat niet staven, gooien ze weg. Dat klinkt heel slecht, maar het gebeurt. Dat is niet altijd bewust hoor.’

Wat zegt dat over de wetenschap?

‘Mensen denken te veel als ze een artikel lezen: dit is de waarheid. Nee, dit is een deeltje van de waarheid. We proberen allemaal de waarheid te vatten, en we komen er in de buurt. Maar er zitten altijd haken en ogen aan een studie, je kunt dat niet als iets absoluuts nemen.’

Houd je je zelf bezig met het effect van hulp op macro-niveau?

‘De politiek analyseert hulp graag op macro-niveau. Maar van de tien hulpprojecten, werken er misschien vijf wel en vijf niet. Als ik die allemaal op één hoop gooi, vind ik geen relatie. Dat is de micro -macro paradox. Je moet veel meer kijken op projectniveau: welke vijf werken wel en welke niet, en wat zijn de verschillen? Hulp is minder geschikt op macro niveau te analyseren, alhoewel dat de laatste twintig jaar wel is gebeurd. Ik zou m’n vingers er in elk geval niet meer aan branden. Dat is zo vaak al gedaan en het heeft tot zo weinig nieuw inzicht geleid. Ja, het enige inzicht is dat we niet precies weten wat het effect is van hulp op groei.

Daarbij is de data ook van slechte kwaliteit. Inkomensdata bijvoorbeeld, zoals de wetenschapper Morten Jerven dat vorig jaar ook in zijn boek aantoonde. Er zijn ongelooflijk grote meetfouten. Neem Nigeria: daar is dit jaar in één keer het BNP met 20 % omhoog gegaan. En als je kijkt naar de zwarte markteconomie, beslaat die soms wel 60 tot 70 % van het inkomen in ontwikkelingslanden. Dus die BNP cijfers kloppen vaak helemaal niet.

Dat meetfouten gecorreleerd zijn aan politieke connecties is overigens ook wel duidelijk. Het is wel eens onderzocht dat landen die geld krijgen van de IMF, dus die Balance of Payments problemen hebben, relatief sneller groeien dan landen die geen geld krijgen maar vergelijkbaar zijn. Die landen die leningen krijgen moeten vaker gecorrigeerd worden, want de prognoses zijn te optimistisch. IMF maakt die prognoses zelf: als zij geld geven, willen ze natuurlijk niet zeggen dat er niet zoveel effect is. Dus zeggen ze: dat land groeit sneller. En dan later blijkt die groei toch tegen te vallen, en moeten ze ervoor corrigeren.

Je kunt het effect van hulp natuurlijk ook moeilijk met Randomised Control Trials meten?

‘Precies. Het grote probleem van analyse op macro-niveau is dat je niet weet wat er was gebeurd als er geen hulp was geweest. Misschien waren er dan veel meer investeringen geweest en was de groei hoger geweest, wie weet. Je zou nog kunnen proberen om twee landen met elkaar te vergelijken die in beginsel hetzelfde zijn: de een met weinig hulp en de ander met veel hulp. Maar ook dan is het heel lastig.

Veel van die variabelen zijn bovendien endogeen. Hulp is niet iets wat zomaar uit de lucht komt vallen. Er zijn bepaalde redenen waarom sommige landen wel hulp krijgen en andere niet. Dus er is een soort derde proces die de relatie groei en ontwikkelingshulp stuurt. Daar moet je voor controleren als je het verband tussen die twee wilt onderzoeken. Misschien zijn landen eerder geneigd een groot land te steunen, want daar zijn meer commerciële belangen. Of misschien geven westerse landen hulp aan landen waar ze koloniale banden mee hadden? Daar hebben wetenschappers zich allemaal over gebogen, maar dat is een heel lastig debat.

Het is nu een beetje van de macro-econoom z’n bordje naar die van de micro-econoom geschoven: de macro vond niet zoveel, maar er zullen vast veel factoren zijn die verklaren waarom hulp de ene keer wel en de andere keer niet werkt. Dus is het nu aan de micro-economen om te kijken op micro- of landenniveau hoe die projecten zijn uitgevoerd. Al die macro-studies nemen een getalletje, maar hulp is niet homogeen. Het omgekeerde is trouwens ook waar: als ik iets vind op micro niveau, dan is dat lastig te transformeren op macro-niveau. Want als je iets vindt dat in een bepaalde regio werkt, kan het heel contextspecifiek zijn.’

Macro- en micro economie blijven dus wel twee aparte werelden?

‘Als je die kloof wilt dichten, moet je eigenlijk een groot project met exact dezelfde programma’s starten in een tiental landen en binnen die landen in meerdere regio’s. Dat zou je als een experiment kunnen organiseren, met Randomised Control Trials. Maar dan nog zegt het slechts iets over tien Afrikaanse landen, terwijl ik liever uitspraken wil doen over zoveel mogelijk ontwikkelingslanden, ook in Azië en Latijns Amerika. En je wilt ook graag meerdere tijdsperiodes zien in de macro-economie.’

Probeer je wel eens de link te leggen met micro- en macro-economie?

‘Ja. Met een PhD student uit Oeganda kijk ik bijvoorbeeld wat voor effect natuurrampen hebben op agrarische ontwikkeling. We zijn uiteraard weer niet de eerste die dat doen, maar we proberen een goede invalshoek te vinden door te kijken naar het effect van financiële markten en instituties. Hebben boeren in landen waar markten meer ontwikkeld zijn minder last van rampen dan landen waar de financiële markt minder ontwikkeld is? Daar kunnen ze immers niet lenen, niet sparen, en is de consumptie minder. Dat is het macro- verhaal. Het micro-verhaal is dat de student gaat kijken naar financiële scholing en klimaatverandering. Als die boeren financieel onderlegd zijn, hebben ze dan eerder een lening en gebruiken ze die dan om beter beschermd te zijn tegen klimaatverandering? Zo kun je die link proberen te maken. Het gaat erom: welke schokken zijn er van belang en hoe kunnen we ons daartegen beschermen?’

Zojuist zei je dat BBP-data vaak onbetrouwbaar zijn. Hoe red jij je daaruit als macro-econoom?

‘Er zijn nu economen die kijken naar lichtintensiteit. Dat zegt iets over consumptie en investeringen, dus dat geeft eigenlijk dezelfde soort elementen weer als het BBP. Vorig jaar zijn daar in de Quarterly Journal of Economics twee of drie papers verschenen die hiernaar keken. Ik kijk nu naar het effect van natuurrampen op economische groei met behulp van lichtdata. Maar daar zitten ook weer problemen aan. Ontwikkelingslanden zijn heel erg agrarisch afhankelijk en de vraag is of lichtintensiteit de agrarische ontwikkeling wel meeneemt. Het gevaar is dus dat je alleen urbane ontwikkeling meet, want op het platteland is minder elektriciteit. Dat zie ik ook terug in mijn onderzoek over natuurrampen: vooral overstromingen en stormen blijken effect te hebben op economische groei. Voor droogtes vind ik minder effect. De eerste de beste referent van een wetenschappelijk tijdschrift zegt dan natuurlijk: je vergeet droogtes, want die hebben effect op agrarische ontwikkeling. Dus nu probeer ik me als econoom door allerlei geografische journals heen te worstelen om te kijken hoe ik me daar uit kan redden. Ik weet nu heel wat van meteorologie.’

Is het niet logisch dat natuurrampen effect hebben op economische groei?

‘De meeste studies gaan daar inderdaad van uit. Maar ik ben begonnen met een overzichtsstudie die vier scenario’s schetst. Ik wilde eens zonder vooroordelen kijken: welke van de vier scenario’s kan ik ondersteunen? In het eerste scenario kan een ramp een tijdelijk effect hebben: eerst daalt de groei, daarna gaat deze weer omhoog. In een tweede scenario wordt kapitaal productiever als er een ramp is geweest, mensen gaan meer investeren. Zelfs zoveel dat we rijker worden dan voor de ramp. Door hulp bijvoorbeeld komt er veel geld binnen en het inkomen stijgt. Maar omdat veel hulp alleen maar tijdelijk is, zal de groei daarna weer afvlakken tot op het niveau van voor de ramp.

Er is een derde scenario dat landen echt in een armoedespiraal terecht komen. Als een land bijvoorbeeld een droogte heeft meegemaakt en heel veel mensen hun vee moeten verkopen om voedsel in te kopen, dan kan het lange termijn negatieve consequenties hebben. In het laatste scenario ga je er juist op vooruit op de lange termijn. Heel veel kapitaal is vernietigd en daar komt nieuw kapitaal voor in de plaats. Dat kan productiever zijn dan het oude kapitaal, dus kun je meer produceren dan voor de ramp.

Wij vinden een negatief effect op korte termijn  een negatief effect. Na een of twee jaar is dat effect weer weg. In een ontwikkelingsland duurt dat wel een stuk langer dan in een ontwikkeld land. De meeste komen er weer bovenop, maar dat kan een groot aantal jaren duren.

Wat is nu de impact van je onderzoek?

‘Je hoopt altijd dat je geciteerd wordt door andere economen en dan hoop je dat ergens iemand op een ministerie ook eens op jouw studie stuit. Het is in de macro economie veel moeilijker dan op micro niveau. Mijn collega’s werken met projecten, evalueren die en schrijven dan een paper waar die ngo wat mee kan. Bij macrostudies zeggen mensen altijd: jij vindt dit nu wel, maar voor ons gaat dat niet op.’