Foto: worldmetorg

BLOG – Gonne Beekman is het niet eens met de “baat het niet, dan schaadt het niet” gedachte van ontwikkelingswerkers als het gaat om projecten. Projecten kunnen negatieve neveneffecten hebben voor huishoudens en gemeenschappen. Om dit te meten zijn impactevaluaties van grote waarde en één hele goede studie levert meer informatie op dan twintig kleine studies.

De afgelopen maanden werkte ik aan een impactevaluatie van ontwikkelingsprojecten in Liberia. Deze studie maakt deel uit van een grootschalige evaluatie van Nederlandse ontwikkelingssamenwerking in acht verschillende landen. Aan de hand van systematische impactevaluaties (waarbij we de situatie van voor de invoer van een project vergeleken met de situatie na afloop, en tegelijkertijd de ontvangers van projecten vergeleken met een geschikte controlegroep) onderzochten we wat ontwikkelingsprojecten hebben bijgedragen aan het behalen van de Millenniumdoelen.

Van collega-onderzoekers die ik in de afgelopen dagen sprak verbaast het niemand dat er heel erg weinig impact lijkt te zijn. Dat is ook de conclusie van het leeuwendeel aan recente impactanalyses van ontwikkelingsprojecten: relevante impact op vooraf vastgestelde uitkomstindicatoren wordt zelden gevonden.

Dat gebrek aan effect is misschien deels te wijten aan het feit dat niet alle resultaten meetbaar zijn, zeker gegeven de relatief korte periode tussen baseline en follow-up. Veel veranderingsprocessen hebben meer tijd nodig dan twee jaar, of zijn lastig te vangen in cijferreeksen. Hoe meet je bijvoorbeeld of mensen meer zelfvertrouwen krijgen? Kwalitatieve studies kunnen daarom een belangrijke aanvulling op het kwantitatieve werk zijn. Verder zijn er ook veel interventies waaraan eigenlijk niet zoveel behoefte is. De prioriteiten van ontwikkelingswerkers stroken lang niet altijd met die van de ontvangers van projecten. ‘Baat het niet, dan schaadt het niet’, zullen sommigen relativeren. Maar daar ben ik het niet mee eens.

Zo bestudeerde ik de effecten van een trainingsproject voor boeren in Liberia dat als doel had voedselzekerheid te verbeteren. Het idee was dat boeren niet alleen productievere landbouwmethodes zouden gaan gebruiken, maar ook de toegevoegde waarde van meer onderlinge samenwerking zouden zien. Het tegendeel bleek echter waar: na de training vertrouwden de deelnemers elkaar minder dan mensen in de controlegroep, en waren ze minder bereid om samen te werken. Misschien waren deelnemers gedesillusioneerd toen hun groepsgenoten niet gemotiveerd bleken, of toen de oogst van het groepsproject tegenviel? Of speelde zich, buiten ons gezichtsveld, nog iets heel anders af?

Het is interessant om te onderzoeken of projecten inderdaad volgens de theory of change verlopen, en al dan niet effect hebben op vooraf bepaalde uitkomstindicatoren. Maar het is misschien nog wel belangrijker om te weten wat er off the record gebeurt. Interventies zijn namelijk nooit zonder gevolg, en brengen altijd een verschuiving met zich mee. Het is naïef om te veronderstellen dat toekomstige projectdeelnemers onder de mangoboom zitten te wachten tot een ngo hen vraagt deel te nemen aan een project over landbouwtechnieken of vrouwenrechten. We kunnen alleen maar veronderstellen dat een training een positieve impact heeft als de tijd die een deelnemer hier aan besteedt, beter besteed is dan wanneer hij zijn dagelijkse bezigheden had voortgezet (in economische termen: opportunity costs). Hoe compenseren deelnemers de tijd die ze aan een nieuwe activiteit, zoals cacaoproductie, besteden? Moeten andere gezinsleden harder werken en worden de kinderen van school gehaald om bij te springen, of wordt er simpelweg minder voedsel geproduceerd op het land van de deelnemer? En wegen de eventuele extra inkomsten als gevolg van het project hier tegen op? Dit zijn cruciale vragen die we onszelf als onderzoekers, maar ook als ontwikkelingswerkers, steeds opnieuw moeten stellen.

Hier ligt een belangrijke toegevoegde waarde van impactevaluaties. Een goed opgezette evaluatie die zich niet enkel richt op voor de hand liggende uitkomstindicatoren, maar kan in kaart brengen welke keuzes huishoudens maken om in hun levensonderhoud te voorzien. Zo wordt het mogelijk om ook onverwachte effecten van projecten bloot te leggen. Deze studies moeten stevig verankerd zijn in theoretische kennis enerzijds, en praktische knowhow anderzijds. Hiervoor is het belangrijk dat onderzoekers en ontwikkelingswerkers hun kennis en kunde bundelen. Dergelijke gedegen studies zijn kostbaar, en dat is vaak een heikel punt. Maar ik ben ervan overtuigd dat we meer leren van één hele goede studie, dan van twintig studies die met te weinig middelen en te veel haast weinig inzicht geven.

Gonne Beekman is onderzoeker bij de vakgroep Ontwikkelingseconomie aan de Wageningen Universiteit. Ze hoopt dit jaar te promoveren op een onderzoek naar de kwaliteit van lokale instituties in Liberia. Ook heeft ze impactevaluaties van ontwikkelingsprojecten in onder meer Ethiopië en Liberia onder haar hoede.