De OESO-evaluatiecriteria schrijven het voor en in zeker de helft van de evaluatiemandaten wordt er naar gevraagd: het apart benoemen van bedoelde en onbedoelde effecten van ontwikkelingshulp. Maar in hoeverre worden deze regels ook nageleefd? In opdracht van de Norwegian Agency for Development Cooperation (NORAD) mocht het Norwegian Institute of Urban and Regional Research (NIBR) de proef op de Noorse som nemen. Uit bestudering van een groot aantal evaluatierapporten blijkt dat er in Oslo op dit gebied nog behoorlijk wat werk aan de winkel is. Er is onvoldoende duidelijk over het optreden van onverwachte bijeffecten en in sommige gevallen wordt de informatie simpelweg op een hoop gegooid. In het rapport Unintended Effects in Evaluations of Norwegian Aid doen de onderzoekers daarom de aanbeveling om de bestaande evaluatiemethoden grondig uit te breiden. 

Stel je coördineert een hulpproject waarbij je ergens in Afrika een weg aanlegt. Dit doe je bijvoorbeeld om ervoor te zorgen dat de bewoners van het gebied van A naar B kunnen reizen of meer handel kunnen drijven. Maar hoe weet je of na het voltooien van het project er naast de door jouw gestelde doelen nog meer effecten teweeg zijn gebracht? Kortom, uitvloeisels die je vooraf niet hebt voorzien en die een positieve of negatieve impact op de omgeving kunnen hebben. Wat is bijvoorbeeld de brede politieke impact het project geweest? En in hoeverre heeft het milieu onder de aanleg van de weg geleden? In opdracht van de Norwegian Agency for Development Cooperation (NORAD) onderzocht het NIBR in hoeverre dergelijke bijeffecten gemeten worden en terug te vinden zijn in rapportages van Noorse hulpprojecten. De uitkomst van het onderzoek is volgens de onderzoekers ontnuchterend. Er wordt veel moeite gedaan om de bedoelde effecten van ontwikkelingssamenwerking te meten, maar over onbedoelde bijeffecten wordt amper gerept. Terwijl grote steunbedragen een behoorlijke invloed kunnen hebben op de economie, ambtenarij en politieke en sociale ontwikkelingen in een gebied. Daarom adviseren de onderzoekers nu met klem om speciale rapportages over neveneffecten van hulp op te stellen.

Oppervlakkig

In totaal hebben de Scandinavische onderzoekers 38 evaluaties, bestaand uit 78 verschillende rapporten, uit de periode 2010 tot 2014 onder de loep genomen. Hierbij hebben zij zich gericht op projecten binnen een de speerpunten democratie en governance, onderwijs, mensenrechten en milieu en klimaat. Naast de evaluaties van NORAD hebben de onderzoekers ook een blik geworpen op rapporten van het Zweede Sida en Deense DFID. Hierbij zochten zij naar de het voorkomen van de termen ‘onbedoeld’, ‘onverwacht’, ‘ongepland’ en ‘onvoorzien’ en de aanwezigheid van een raamwerk waarin bijeffecten worden besproken. In slechts 36 van de 78 rapporten zijn de bovengenoemde woorden een of meerdere keren gebruikt. Daarnaast blijkt dat in 60 procent van de gevallen NORAD vooraf geen specifieke instructies heeft gegeven over het rapporteren van bijeffecten. Bij ongeveer 25 procent van de rapporten is dit wel gebeurd, al is er uiteindelijk in driekwart hiervan geen letter over geschreven.

De spaarzame passages over onbedoelde neveneffecten die de onderzoekers wel tegenkwamen kwalificeren zij  als ‘oppervlakkig’. Volgens de onderzoekers wordt er vooral een hoop gespeculeerd of ‘vergeten’ evaluatoren de juiste vragen te stellen. Als voorbeeld noemen zij door Noorwegen geïnitieerde sportprojecten in de derdewereldlanden, waarbij een trainingstrip naar Scandinavië is inbegrepen. De onderzoekers hekelen de evaluatoren omdat zij zich niet hebben bekommerd om de vraag op welke wijze lokale leiders eventueel hun macht hebben misbruikt om bepaalde sporters voorrang te geven en in hoeverre de atleten na thuiskomst uit het gesofistikeerde Noorwegen ontmoedigd werden door de veel slechtere sportfaciliteiten in hun thuisland.

Op een hoop gegooid

De onderzoekers stellen eveneens dat in de evaluaties alle effecten vaak op een hoop gegooid, waardoor moeilijk waarneembaar is wat nu bedoeld is en wat niet. Dit komt omdat het in de evaluaties vaak ontbreekt aan een uitgebreid raamwerk waarin de uitvoerders duidelijk kunnen maken met welk doel zij aan het programma beginnen en welke middelen hiervoor gebruikt worden. Zonder helder, vooraf opgesteld verwachtingspatroon kan niet duidelijk worden gemaakt wat wel en niet tot de verwachtingen of doelen van een project behoort, stellen de auteurs.

Momenteel wordt volgens hen in het meest gunstige geval het hoofddoel van het onderzoek genoemd, waarna een aantal punten wordt opgesomd die aan dit doel gelinkt worden. Ook worden makkelijk voorspelbare, maar onbedoelde effecten amper in de evaluaties besproken. De waarschijnlijkheid van het ontstaan van onbedoelde effecten is blijkbaar geen punt. Daarom stelt het onderzoeksteam dat het zinvol is om evaluaties uit te voeren die zich aan de hand van de helder kader primair op bijeffecten richten. Volgens de schrijvers van het rapport is het om twee redenen ongunstig dat dit nog niet gebeurt. Ten eerste omdat hulpprogramma’s schade kan berokkenen waarmee de uitvoerders niet bekend zijn en die daardoor niet (op tijd) kan worden verholpen. En ten tweede omdat zo de kans wordt gemist om meer aandacht te besteden aan positieve effecten waarmee de uitvoerders voorheen niet bekend waren.

Duidelijke taal

Bovendien pleiten zij ervoor om deze evaluaties openbaar te maken. Dit zal de schrijvers ertoe aanzetten om meer te zoeken naar concrete resultaten, deze in begrijpelijke taal te presenteren en hierover in discussie te gaan. Een van de kritiekpunten is namelijk dat de rapporten momenteel overlopen van wollig taalgebruik en holle frasen. Dat moet anders. In het meest gunstige geval leidt dit ertoe dat media meer aandacht aan de evaluaties zullen besteden, zodat de berichtenstroom over ontwikkelingssamenwerking in de toekomst toeneemt.

Omdat ontwikkelingsprojecten zeer complex zijn, doen de betrokkenen er goed aan serieuze discussies over onbedoelde effecten te voeren en elkaars onderzoeken goed te bestuderen. Al weten de auteurs niet of dit voorstel op erg veel enthousiasme kan rekenen. Extra onderzoek naar eventuele bijeffecten leidt tot meer werkuren en daardoor tot een vermindering van het projectbudget, waardoor projectmanagers er misschien niet veel voor voelen om extra evaluaties uit te voeren. Ook kan meer openheid over negatieve bijeffecten de vrees aanwakkeren dat bepaalde programma’s worden gekort op hun subsidie, waardoor bewust een en ander wordt verzwegen.

Wellicht is dat de reden dat er tot nu toe vooral over positieve neveneffecten wordt bericht. Passages over negatieve bijeffecten zijn met name bij projecten in fragiele gebieden ‘opvallend afwezig’, zo schrijven de onderzoekers. Uitzondering op de regel vormen de rapporten over projecten in Afghanistan, waarbij al langer rekening wordt gehouden met vervelende neveneffecten. Ook valt op dat er bijna alleen wordt ingegaan op kleine effecten. In de evaluaties is duidelijk waarneembaar dat de focus ligt op zaken waarnaar snel gehandeld kan worden. Hoe problematischer – en daarmee vaak groter – het onbedoelde effect, hoe minder het wordt aangehaald in de evaluaties. Volgens de onderzoekers kan dit te maken hebben met de vorm van de uitgevoerde evaluaties. Hierin worden vooral praktische aanbevelingen gedaan. De evaluatie is dus niet zozeer een uitgebreide beschouwing op het uitgevoerde project. Als voorbeeld van het opsommen van tal van kleine effecten noemen zij het plaatsen van sloten bij vluchtelingenkampen en het hierdoor toegenomen gevoel van veiligheid onder de kampbewoners. Maar dit wil uiteraard niets zeggen over de toename van misdaad in de regio sinds het vluchtelingenkamp is opgezet.

Aanbevelingen

Het is nog onbekend of de aanbevelingen uit het rapport worden overgenomen. In eerste instantie is het onderzoek bedoeld om de aandacht voor de bijeffecten van hulpprojecten te vergroten en een discussie over het onderwerp aan het te zwengelen. Dit zal in elk geval worden gedaan op een aantal door NORAD georganiseerde seminars.