‘Red Afrika, schaf de hulp af.’ Met deze oneliner wist Dambisa Moyo, een Zambiaanse onderzoekster in dienst van Goldman Sachs, vorig voorjaar ieders aandacht te trekken. Moyo schuwde de grote woorden niet: ‘Ontwikkelingshulp is een vergif. Het wakkert corruptie aan en het smoort democratie. Afrika is niet rijker, maar armer geworden van de duizend miljard dollar die het de afgelopen zestig jaar als hulp heeft ontvangen.’

Het bleek voor ontwikkelingsprofessionals niet eenvoudig om tegen dit soort grof geschut een effectief verdedigingswapen in stelling te brengen. Als je zegt dat hulp wel degelijk helpt, laad je al snel de verdenking op je voor eigen parochie te preken. Als je met concrete resultaten komt – zoveel meer meisjes naar school, zoveel minder malaria – dan beginnen redacteuren van opiniepagina’s al snel opzichtig te gapen: goed nieuws is geen nieuws, dat weet toch iedereen? Daar komt nog bij dat de ontwikkelingswereld van zichzelf al niet overloopt van zelfvertrouwen. Wie aan den lijve heeft ervaren hoe ingewikkeld armoedebestrijding is, zal zichzelf niet snel voor bereikte resultaten op de borst kloppen. De op zich terechte zelfkritiek grenst soms aan masochisme. Het nationale getob over het draagvlak voor ontwikkelingssamenwerking (OS) is daarvan een mooi bewijs. Er is altijd wat met het draagvlak: dan is het weer te dun, dan is het weer te smal, dan neemt het weer af, dan groeit het weer te weinig. Je krijgt er een punthoofd van. Kent u één andere beroepsgroep die zich zo veel zorgen maakt over het draagvlak voor wat ze doen, als die van ontwikkelingssamenwerkers? Ik zeg niet dat je je er helemaal niks van hoeft aan te trekken – wat dan gebeurt zag je bij het referendum over de Europese grondwet – maar een beetje minder zou absoluut geen kwaad kunnen.

Nulmeting

De dieperliggende oorzaak van deze bijna existentiële onzekerheid of wat we doen wel goed is, ligt in de ook na zestig jaar nog steeds tekortschietende kennis over wat werkt en wat niet. ‘Wie wil weten wat de resultaten waren, wordt niet veel wijzer’, schrijft de Amsterdamse econoom Jan-Willem Gunning in een bespreking van de Afrika-evaluatie van IOB (Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie) in de Internationale Spectator van mei 2008. En op een door de Rijksacademie voor Financiën en Economie georganiseerd congres over ‘wat werkt en waarom’ voegde hij daaraan toe dat ‘de wil om te meten wat bij OS werkt, beperkt is, omdat dit de manoeuvreerruimte van beleidsmakers zou verkleinen’. Ik denk niet dat er in de praktijk vaak voor zal worden gekozen om iets bewust niet te willen weten. Dat wil echter niet zeggen dat we een precies antwoord kunnen geven op de vraag wat werkt, wat niet en waarom.

Het boeken van resultaten is een zaak van lange adem. Evaluaties komen vaak te vroeg (en niet te laat, zoals vaak over IOB gezegd wordt). Veel interventies zijn van start gegaan zonder dat er een nulmeting is gedaan. Het is dan niet mogelijk om de situatie na afloop van de interventie te vergelijken met het begin. Ontwikkeling is ook niet altijd meetbaar. Zolang het gaat om de groei van het aantal scholen, ziekenhuizen of waterpunten lukt het nog wel, maar als het gaat om het vaststellen van de bredere impact van dergelijke interventies – wat betekenen ze uiteindelijk voor de gezondheid, de kansen op de arbeidsmarkt, het inkomen en de voedselzekerheid van de armste bevolkingsgroepen? – moeten evaluaties nog wel eens het antwoord schuldig blijven. En dat geldt des te sterker als we minder tastbare interventies op andere terreinen van buitenlands beleid wat betreft hun doeltreffendheid evalueren.

Daar komt het vraagstuk van de attributie nog bij: je ziet of meet een bepaalde verandering, maar hoe weet je nu dat die het gevolg is van de door de donor geleverde ontwikkelingsinspanning? Er spelen in de praktijk zo veel andere factoren een rol; hulp is vrijwel altijd slechts een klein deel in een ingewikkeld complex van interne en externe factoren, belemmeringen en kansen, die met elkaar bepalend zijn voor hoe een land zich ontwikkelt en in welke mate de armen van die ontwikkeling profiteren.

Evaluatoren lossen het vraagstuk van de attributie het liefst op door met een counterfactual te werken. Daarvoor heb je een willekeurig samengestelde controlegroep (randomised control group) nodig die vergelijkbaar moet zijn met de groep begunstigden, behalve dat hij geen hulp kreeg. Is die vergelijkbaarheid er niet, dan is er sprake van een selectiebias. Als je in staat bent de ontwikkeling bij een groep die rechtstreeks van een ontwikkelingsinterventie profiteert te vergelijken met de ontwikkeling van de controlegroep, dan ben je theoretisch in staat het zuivere effect van de hulpinspanning te isoleren van andere factoren en dus te meten.

Waterdicht

Vanwege een aantal veranderingen in de aard en aanpak van de hulp wordt deze methode er echter niet eenvoudiger op. Een klassiek ontwikkelingsproject is relatief eenvoudig af te bakenen, maar bij de meer eigentijdse vormen van hulp is dat veel ingewikkelder. Bij de sectorale benadering en de daarbij behorende vormen van begrotingssteun richt de interventie zich op de gehele overheidsbegroting of een deel daarvan. Als je in zo’n situatie met een controlegroep wil werken, zou dit dus (denk om de selectiebias) een ander vergelijkbaar land of een vergelijkbare sector in een ander land moeten zijn. Ga daar maar eens aan staan.

Op andere terreinen van het buitenlands beleid – die immers ook tot het mandaat van IOB behoren – is een dergelijke aanpak al helemaal moeilijk voorstelbaar. Wil je de interventies van het Nederlands mensenrechten- of ontwapeningsbeleid op een wetenschappelijk verantwoorde manier evalueren, dan zou je moeten onderzoeken wat er zonder die interventies gebeurd zou zijn. Alleen dan kun je waterdicht bewijzen welk verschil het Nederlandse beleid gemaakt heeft. Het lijkt een onmogelijke opgave.

De roep om waterdichte bewijsvoering wordt steeds luider. De ‘eerst zien dan geloven’-opstelling van de sceptische kiezer en de kritische gekozene stellen de beleidsmaker voor een steeds lastiger opgave. Het is geen toeval dat misschien wel de meest rationele vorm van ontwikkelingssamenwerking – de begrotingssteun – in de Tweede Kamer op de meeste oppositie stuit. Het beloofde positieve effect ervan is immers lastig aantoonbaar. Ik zou ervoor willen pleiten om de roep om evidence-based policy een beetje te relativeren. Niet zozeer omdat kennis de manoeuvreerruimte van de politiek zou beperken (zie bovengenoemde uitspraak van Gunning), maar eerder omdat de gedachte van de waterdichte bewijsvoering onhoudbaar is.

Parachute

In een tamelijk humoristische column in het wetenschapskatern van NRC Handelsblad van zaterdag 25 april 2009 behandelt Robbert Dijkgraaf de verschillende vormen van waterdicht bewijs. De gouden standaard onder de bewijsvormen is het vergelijkend empirisch onderzoek met een gerandomiseerde controlegroep, zegt ook Dijkgraaf. Maar daar zitten nog wel wat haken en ogen aan. Zoals ik naar hem verwijs, zo verwijst hij naar een artikel over parachutespringen dat in 2003 is verschenen in het British Medical Journal. Is een parachute eigenlijk wel nodig?, vragen de auteurs zich af, terwijl  ze het voor de hand liggende antwoord proberen te ondermijnen.

Wat blijkt? Er gebeuren opvallend veel ongelukken met parachutes. Ze kunnen niet of te laat opengaan en zelfs als alles goed functioneert kun je toch nog lelijke blessures oplopen. Bovendien zijn er gevallen bekend van personen die zonder parachute een val van zeer grote hoogte hebben overleefd. Degenen die bewust zonder parachute uit een vliegtuig springen, blijken bij nader inzien ook geen willekeurig samengestelde controlegroep te vormen: ze hebben vaak psychiatrische aandoeningen, financiële problemen of een ongezonde levensstijl. De auteurs van het artikel beweren zelfs dat het gebruik van parachutes een goed voorbeeld is van misplaatst geloof in onbewezen technologie en suggereren het bestaan van een sinister industrieel complex dat zonder een flintertje bewijs een nodeloos en kostbaar product als de parachute blijft propageren.

Zoals het bij de parachutes betrekkelijk onmogelijk zal zijn om door middel van experimenten met een gerandomiseerde controlegroep te bewijzen dat het gebruik ervan toch moet worden aangeraden, zo geldt ook voor OS en overig buitenlands beleid dat er soms technische en soms ook morele bezwaren bestaan tegen het toepassen van de gouden standaard in de bewijsvoering. Het blijft, lijkt me, moeilijk te verdedigen dat je een groep armen bewust hulp onthoudt om te kunnen bewijzen dat de hulp die een andere groep wél krijgt, effectief is. Los van technische en morele bezwaren zullen we uiteindelijk moeten accepteren dat sommige vraagstukken – armoede, vrede en veiligheid, mensenrechten – zo complex zijn dat de oplossing ervan altijd met onzekerheden omgeven zal zijn.

Zekerheid

In dat geval neemt de onderzoeker zijn toevlucht tot de plausibiliteit. De hulpinspanningen van alle betrokken actoren en de veranderingen in een sector of in een land worden zo nauwkeurig mogelijk in kaart gebracht, en getracht wordt aannemelijk te maken dat er tussen het een en het ander al of niet een causaal verband bestaat (of vast te stellen in welke mate er tussen het eerste en het tweede een causaal verband bestaat). Als bijvoorbeeld blijkt dat in Zambia en Oeganda het aantal schoolgaande kinderen spectaculair stijgt nadat er door de regering een plan is gemaakt voor gratis onderwijs, uitbreiding van het aantal scholen en verbeterde opleidingen voor onderwijzers, een plan dat vervolgens door regering en donoren gezamenlijk is gefinancierd, dan is het aannemelijk, zij het niet waterdicht bewezen, dat er tussen die stijging van het aantal schoolgaande kinderen en de uitvoering van dat plan een verband bestaat. Het is dan toch op zijn minst uitermate waarschijnlijk dat je hulp heeft geholpen. Je kunt, mag en moet dan heus wel kritische vragen blijven stellen: is de kwaliteit van het onderwijs er met al die nieuwe kinderen in de klas niet op achteruit gegaan, wat hebben die kinderen eigenlijk aan dat onderwijs als er toch geen baan voor hen is, had hetzelfde niet met minder geld bereikt kunnen worden, en waarom gaan er zo veel kinderen nog niet naar school? Allemaal terechte vragen, maar ze duiden eerder op de complexiteit van het probleem dat moet worden opgelost, dan dat ze ondermijnend zijn voor de aan zekerheid grenzende waarschijnlijkheid dat de hulp geholpen heeft.

Het aantal voorbeelden van succesvolle hulp is zo omvangrijk dat het bevreemding zou kunnen wekken dat men van het nut ervan steeds minder overtuigd is. Dat is echter niet zo vreemd. De vooruitgang is vaak broos. Oorlog, wanbestuur, steeds frequentere natuurrampen of aids kunnen wat na een inspanning van vaak tientallen jaren is bereikt, in een mum van tijd weer tenietdoen. Er gaat bovendien ook veel fout, en die fouten zijn net als de successen uitgebreid gedocumenteerd. Na zestig jaar ontwikkelingssamenwerking is de wereldwijd voorkomende armoede bovendien nog steeds onaanvaardbaar groot, de relatie tussen vooruitgang en hulp is niet altijd even eenvoudig aantoonbaar als bij de onderwijsmaatregelen in Zambia en Oeganda, en: er komen steeds weer nieuwe problemen bij.

Dus zoeken we steeds naar argumenten om onze critici de loef af te steken. We proberen ze ervan te overtuigen dat we ook de nieuwe uitdagingen te lijf gaan, dat het zonder hulp allemaal nog veel erger zou zijn geweest, dat de hulp ook in ons eigen belang is en dat we stelselmatig leren van gemaakte fouten. Geen enkel beleidsterrein is zo vaak geëvalueerd als dat van ontwikkelingssamenwerking, wordt er in dat laatste geval gezegd.

Op zichzelf is dat laatste argument niet zo overtuigend. Want los van de vraag of de stelling klopt – ik denk niet dat het ooit feitelijk onderzocht is – kun je je afvragen of deze erg relevant is. Het gaat er immers niet om hoeveel er is geëvalueerd, maar veel meer wat er met de evaluaties gebeurt.

Inzicht

In de rest van dit artikel zal ik mij concentreren op de lessen uit evaluaties. Er valt nogal eens te beluisteren dat het met het leren uit evaluaties bij Buitenlandse Zaken slecht gesteld is. In de zogenoemde peer reviews van de OESO (Organisatie voor Economische Samenwerking en Ontwikkeling), waarin lidstaten elkaars hulpinspanningen om de paar jaar kritisch onder de loep nemen, komt Nederland er over het algemeen zeer goed af, maar over het lerend vermogen van het ministerie is de Development Assistance Committee in de regel nogal kritisch. Zelf geloof ik dat er binnen Buitenlandse Zaken vaker van evaluaties wordt geleerd dan we soms denken. Ook ben ik, in weerwil van wat erover in kritische studies (meestal intern) wordt gesteld, van mening dat evaluaties (niet alle evaluaties natuurlijk, maar wel het overgrote deel ervan, voor zover ze door professionele evaluatoren zijn verricht) wel degelijk inzicht verschaffen in de zo belangrijke vraag waarom iets wel of niet werkt. Ik zal dat toelichten aan de hand van enkele actuele voorbeelden.

Wie terugleest wat IOB de laatste vijftien jaar heeft onderzocht, kan niet anders concluderen dan dat veel van wat zij toen aanbeval inmiddels in beleid is omgezet. Dat komt natuurlijk niet alleen door de evaluaties. Dat er congruentie is tussen evaluatie-uitkomsten en beleidsveranderingen betekent, geef ik toe, nog niet dat het ene automatisch tot het andere leidt. Evaluaties vinden niet in een vacuüm plaats maar zijn zelf ook weer het product van voortschrijdend inzicht en veranderende opvattingen. Gelukkig maar. Dat inzicht en die opvattingen zorgen er samen namelijk voor dat het beleid voortdurend op een hoger plan kan worden gebracht.

Zo valt ook te verklaren dat IOB, die zelf in de jaren negentig niet zonder succes pleitte voor de invoering van de sectorale benadering ter vervanging van de projectenaanpak, deze zelfde benadering nu aan kritisch onderzoek onderwerpt. Daarbij worden nieuwe zwakke plekken zichtbaar gemaakt, waarvan opnieuw geleerd kan worden: de ongelijke verdeling van de vooruitgang, door IOB vaak aangeduid als tekortschietende armoedefocus, de kwaliteit van de dienstverlening en de twijfelachtige duurzaamheid (dat was overigens in de projectenaanpak niet anders). Ik zal ze alle drie aan de hand van een voorbeeld toelichten.

Onderhoud

Eerst drinkwater: Nederland geeft al sinds de vroege jaren zeventig steun aan de watersector in ontwikkelingslanden. In de loop van de jaren negentig verschoof het accent daarbij van constructie en technische ondersteuning naar institutionele versterking: bijvoorbeeld training, organisatieopbouw, decentralisatie en vergroting van de betrokkenheid van gebruikersgroepen.

In 2008 heeft IOB een impactevaluatie uitgevoerd van de effecten van de Nederlandse steun aan de rurale watervoorziening in Jemen. Die steun begon in 1983 en betrof toen vooral de levering en installatie van pompen, watertanks en motoren. In de laatste tien jaar, tot 2001, ging het veel meer om institutionele versterking: het opzetten van gebruikersgroepen en versterking van de samenhang met sanitatie en hygiëne.

In de dorpen die van het programma profiteerden, woonden 170.000 mensen. Vrijwel ieder van hen bleek van de nieuwe watervoorziening geprofiteerd te hebben. Zeven jaar nadat Nederland zich als donor heeft teruggetrokken, neemt de zorg over de duurzaamheid van wat bereikt is echter toe. Er is geen geld om de pompen, die het nu nog goed doen, te zijner tijd te vervangen en ook de duurzaamheid van de bereikte institutionele versterking blijkt kwetsbaar. Net als de pompen hebben ook de kennis en ervaring van de gebruikersgroepen regelmatig onderhoud nodig. Daarvoor zal ondersteuning door de overheid onontbeerlijk zijn.

In Tanzania heeft Nederland in een vergelijkbaar programma – tussen 1990 en 2006 – 20 miljoen euro uitgegeven. Meer dan een miljoen mensen kregen in die periode toegang tot schoon drinkwater. Net als in Jemen was er een aantoonbaar positief effect op de gezondheid. En net als daar gingen ook in Tanzania, doordat het waterhalen minder tijd vroeg, meer meisjes naar school. De financiële duurzaamheid van de gedane investeringen is echter nog zwak. Onduidelijk is waar de gebruikers het geld vandaan zullen moeten halen om toekomstig groot onderhoud en uiteindelijk vervanging van de pompen te bekostigen. Naast IOB wijzen ook een Deense evaluatie en een studie van de programma’s van de Europese Commissie erop dat er te weinig rekening wordt gehouden met de beperkte mogelijkheden van de armen om mee te betalen aan hun watergebruik.

Lessen

Ook in de beschikbare evaluaties van de Nederlandse steun aan de gezondheidssector krijgt de kwetsbare positie van de armste bevolkingsgroepen veel aandacht. Er zijn met de sectorale benadering in de gezondheid zeker resultaten geboekt: de infrastructuur voor publieke gezondheidszorg is in veel ontwikkelingslanden uitgebreid, de vaccinatiegraad is toegenomen, het bezoek aan klinieken en gezondheidsposten is de laatste vijf jaar gestegen. Maar de kwaliteit van de publieke zorg is er nauwelijks op vooruit gegaan en vrijwel overal is er sprake van grote verschillen tussen stad en platteland en tussen centrale en meer afgelegen regio’s. Daar is moeilijk aan personeel te komen en moet voor medische zorg vaak onder de tafel met geld worden geschoven. Vooral voor de armsten kan deze vorm van corruptie een onoverkomelijke hindernis vormen.

Er moet, zo stelt IOB in lijn met ander internationaal onderzoek, meer worden gedaan om ongelijkheid aan te pakken. Gezondheidswerkers zullen met behulp van financiële prikkels beter over het land moeten worden verdeeld, tegen het vragen van illegale betaling moet beter worden opgetreden, en armen zouden van het betalen van een eigen bijdrage moeten worden vrijgesteld. Minister Koenders heeft in een brief aan de Kamer naar aanleiding van een evaluatie van de zorg in Tanzania al laten weten dat hij eigen bijdragen die de toegang tot zorg belemmeren wil afschaffen.

De problematiek van eigen bijdragen en ongelijkheid speelt ook in mijn laatste voorbeeld – het onderwijs – een grote rol. Het afschaffen van schoolgeld en het terugdringen van andere onderwijskosten, zoals boeken, uniformen en reiskosten, zijn, mits ze gecombineerd worden met de bouw van scholen, de opleiding van onderwijzend personeel en de verbetering van inspectie om absentie van leerkrachten en leerlingen tegen te gaan, een doorslaggevende factor in de strategie om alle meisjes en jongens naar school te laten gaan. Door IOB verricht onderzoek in onder meer Oeganda en Zambia laat spectaculaire resultaten zien. Kwaliteit en ongelijkheid zijn ook hier, net als in de gezondheidszorg, de grote bottlenecks.

Doordat regeringen – van zowel donoren als ontvangende landen – vooral verbetering van de landelijke gemiddelden nastreven, is er weinig stimulans om relatief dure investeringen te doen in de afgelegen gebieden. Ook ongelijkheid tussen jongens en meisjes is vaak nog een probleem. In Zambia bijvoorbeeld bleek bij de verdeling van schaarse schoolplekken toch nog vaak voorrang aan jongens te worden gegeven. De angst dat ‘Education for All’ vanwege de sterk toenemende klassengrootte onvermijdelijk tot minder kwaliteit leidt, is, zoals recent IOB materiaal laat zien, niet bewaarheid. Juist als een sectorbrede aanpak wordt gevolgd gaat het vaak andersom: door de bouw van extra scholen, de beschikbaarheid van meer boeken en de opleiding van meer leerkrachten, neemt ook de deelname aan het onderwijs toe. Desalniettemin is de kwaliteit van het onderwijs in veel gevallen laag. Leerlingen en leerkrachten zijn te vaak afwezig, een goed toezicht op de school ontbreekt en de docenten kunnen slecht overweg met het lesmateriaal. Juist nu het aantal schoolgaande kinderen in veel ontwikkelingslanden zo is gestegen, zal er in de sectorale benadering voor deze kwaliteitsaspecten meer aandacht moeten komen.

Kortom: er wordt meer uit evaluaties geleerd dan vaak wordt gedacht, en het leren houdt nooit op. In Nederland en elders verricht onderzoek biedt goede aanknopingspunten om zwaktes in het beleid en de uitvoering daarvan te repareren: door meer aandacht te geven aan duurzaamheid, door de armoedefocus scherper te stellen en door de kwaliteit van de sociale dienstverlening naast kwantitatieve aspecten meer aandacht te geven. Wie deze lessen uit evaluaties serieus neemt, heeft voorlopig nog genoeg te doen