Ontwikkelingssamenwerking en ontwikkelingsorganisaties zitten in een hoek waar de klappen vallen. Zelfs pregnante onzin over ontwikkelingssamenwerking blijft meestal zonder weerwoord. Daardoor verliest de sector steeds meer terrein. Journalist Han van de Wiel en consultant Wolfgang Richert zijn van mening dat de manier waarop ontwikkelingsorganisaties hun activiteiten evalueren sterk bijdraagt aan het afbrokkelende draagvlak. Zij roepen ngo’s op zich te ontworstelen aan het keurslijf van evaluaties waarin het ministerie van Buitenlandse Zaken hen perst.

Op vrijdag 2 maart demonstreerde de uitzending van Pauw & Witteman hoe tegenstanders van ontwikkelingssamenwerking de wind mee hebben. Frits Bolkestein, oud-politics van de VVD, zei onder andere dat het een stuk beter gaat in Afrika maar dat ontwikkelingssamenwerking daar níets aan heeft bijgedragen. Geen van de andere gasten aan tafel – twee geïnformeerde journalisten en cabaretier Dolf Jansen, tevens ambassadeur van Oxfam Novib – diende hem serieus van repliek, waardoor Bolkesteins opinie dat er fors bezuinigd kan worden op ontwikkelingssamenwerking vrij spel had.

Het artikel Evaluatie MFS-2: ‘Gemiste kansen’, in de jongste uitgave van Vice Versa, zet vraagtekens bij de gezamenlijke evaluaties van het tweede medefinancieringsselsel (MFS-2). Volgens auteur Jeroen Aerts ‘worden met name bij de projectevaluatie vraagtekens gezet.’ Maar forse kritiek is ook mogelijk op de eisen die Buitenlandse Zaken stelt aan evaluaties van de andere resultaatgebieden.

Driedimensionaal schaken

Buitenlandse Zaken heeft bepaald dat de MFS-2 activiteiten worden ingedeeld en gemeten in de resultaatgebieden 1) capaciteitsopbouw van partners, 2) versterking van het maatschappelijk middenveld en 3) internationale lobby en advocacy. Wij gebruiken hieronder de internationale lobby- en advocacy-activiteiten binnen MFS-2 als voorbeeld.

Lobby en advocacy is een containerbegrip voor activiteiten die als doel hebben structurele maatschappelijke, markt- of politieke veranderingen op internationaal, regionaal of nationaal niveau te bewerkstelligen. Dit is een wezenlijk andere tak van sport dan (directe) veranderingen ‘in het veld’. Kenmerkend voor interventies op het vlak van lobby en advocacy is dat het altijd om complexe processen in een complexe wereld gaat, die dus niet lineair verlopen. Ze lijken meer op driedimensionaal schaken: er zijn meestal veel actoren tegelijk actief; er vinden onverwachte veranderingen in het speelveld plaats in de vorm van kansen of bedreigingen die nopen tot een herziening van de strategie; de doelgroep verandert van opvatting of strategie, wat een ngo dwingt tot heroriëntatie.

Als complexe maatschappelijke veranderingsprocessen niet lineair verlopen, moet de interventiestrategie daar ook niet van uitgaan. Een goed lobbyplan bevat een zo concreet mogelijk einddoel, dat redelijk ver weg in de tijd kan liggen, en een heldere analyse van het probleem en de context. Ze vormen de basis voor een strategie en de activiteiten in het eerste jaar. Planning, monitoring en evaluatie (PME) van lobby en advocacy maakt gebruik van deze elementen en houdt daarbij rekening met de complexiteit en de systeemveranderingen. Wat níet kan, is de concrete activiteiten in jaar twee, drie en vier plannen. Ofwel, het kán wel, maar de kans is levensgroot dat je de plank volledig misslaat: als je het lobbyplan één-op-één uitvoert, ben je niet slim bezig en is de kans op succes heel klein.

Van A, naar B, naar C

De tegenhanger van zo’n lobbyplan is het logical framework (logframes). Het logframe is wél lineair opgebouwd: activiteit A leidt tot resultaat B, dat leidt tot impact C. En zo worden de activiteiten voor de komende vier jaar ingevuld. Uiteraard zijn er logframes die een kolom voor aannames vrijmaken, mag er hier en daar rekening gehouden worden met de context en zijn er campagnes die zo slim met een logframe kunnen omgaan dat het bijna niet beperkend lijkt. Maar het blijft principieel onlogisch om internationale lobby en advocacy in het keurslijf van dit lineaire denken te persen. Het is ook geen toeval dat succesvolle campagneorganisaties vanuit zichzelf geen logical framework gebruiken voor de ontwikkeling van de plannen.

Des te verwonderlijker dat het ministerie wel het lineaire denken probeert op te leggen. Drie voorbeelden. Ten eerste was het logframe in de planningsfase bij de MFS-2 aanvraag vereist – ook voor het plannen van complexe maatschappelijke veranderingsprocessen. Ten tweede is de Resultaatketen Maatschappelijk Middenveld, die het ministerie als uitleg meegeeft bij zijn monitoring en evaluatie verwachtingen (Annex 5 bij de subsidiebeschikking), een visuele weergave van lineair denken: met behulp van input A komt men tot output B, die resulteert in outcome C, die impact D tot gevolg heeft. Ten derde heeft het ministerie voor de monitoring en evaluatie van de internationale lobby en advocacy en voor de vereiste nulmeting (baseline studie) een reeks indicatoren opgesteld “die op een eenvoudige en betrouwbare wijze veranderingen als gevolg van een ontwikkelingsinterventie zichtbaar maken.”

Het bijzondere aan de lijst met indicatoren waaruit de subsidieontvanger kan kiezen is dat ze alle acht kwantitatief zijn. Een schrijnend voorbeeld. Indicator: Aantal aantoonbare beleidsveranderingen (bij de beoogde overheid, instantie of bedrijf). Deze indicator vraagt dus niet om de relevantie van de beleidsveranderingen of naar de mate waaraan deze bijdraagt aan het einddoel maar om het aantal beleidsveranderingen. Alle acht indicatoren vragen om aantallen.

Verkeerde resultaten

De roep om betere monitoring en evaluaties is terecht. Het bovenstaande is echter het zichtbare voorbeeld hoe (verkeerd) managementdenken monitoring en evaluatie in de verkeerde richting stuurt. Wil je liever 10 minutieuze beleidsveranderingen bereiken of één grote die veel relevanter is?

Manuela Monteiro, directeur van Hivos, wees er half december op de site van Vice Versa op dat de discussie ‘vooral gaat over zaken die niet de kern raken. (…) het gaat niet over wat je hebt bereikt of hoe het werk van een ngo heeft geleid tot een betere situatie daar. Nee, het gaat over de vraag hoe dit allemaal is georganiseerd, welke risicoanalyses worden gehanteerd en hoe risico’s worden ingedekt.’

Monteiro raakt de kern van het probleem, dat met het MFS-2 alleen maar groter wordt: Buitenlandse Zaken wil dat de consortia van ngo’s (de MFS-allianties) die subsidie hebben gekregen activiteiten tellen. Als zij zich daartoe beperken, laten ze niet zien wat ze eigenlijk doen en bereiken, en worden ze beoordeeld op de verkeerde resultaten.

Ruerd Ruben, directeur van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie, stelde op de site van Vice Versa terecht dat ontwikkelingsorganisaties met belastinggeld werken en daarvoor verantwoording moeten kunnen afleggen aan burgers en parlement. Hij, en met hem vele anderen, hebben gelijk dat monitoring en evaluaties in het verleden van onvoldoende kwaliteit zijn geweest. Maar het aanscherpen van regels in de verkeerde richting zal eveneens leiden tot onvoldoende rapportages.

Wij vrezen dat er over vier jaar dikke (en dure) evaluatierapporten liggen die geen zicht geven op de kern van het werk en de bereikte resultaten en dat de buitenwereld vervolgens makkelijk tot de conclusie kan komen dat de successen van MFS-2 op het vlak van internationale lobby en advocacy óf matig zijn óf niet goed gemeten kunnen worden. Zo draagt Buitenlandse Zaken actief bij aan het beeld bij het brede publiek dat ontwikkelingsorganisaties geen relevante resultaten bereiken – met de roep om meer bezuinigingen tot gevolg.

Minder angstig

In plaats van kwantiteit moet de kwaliteit voorop staan bij monitoring en evaluatie. Die doet meer recht aan, en laat zijn licht schijnen over, het proces waarin een ngo zich bevindt in relatie tot het te bereiken doel. Dat is best goed te plannen, monitoren en evalueren. Wat waren de verwachtingen? Wat wilde men bereiken? Op welke manier (strategie) en hoezo dacht men dat dit haalbaar zou zijn? Wat is bereikt? Welke sociale actor is tot ander gedrag of beleid gekomen? Waarom is dat relevant? Oftewel: waarom vindt een ngo dat dit resultaat bijdraagt aan de missie? Welke activiteiten hebben bijgedragen aan dat resultaat? Wat vinden anderen van het resultaat en project?

De tools om aan de hand van deze vragen te evalueren zijn beschikbaar. Als organisaties zo monitoren en evalueren, kunnen ze ook rapporteren en communiceren op een manier die recht doet aan de complexe werkelijkheid waarin ze opereren. Dat draagt bij aan een realistischer beeld van het (on)vermogen van ontwikkelingsinterventies en maakt ngo’s minder angstig en krampachtig voor politiek gemotiveerde kritiek of negatieve publiciteit. Met andere woorden, evaluaties kunnen veel toegevoegde waarde hebben voor alle partijen, zowel wat betreft de accountability als het eigen leren. En áls evaluaties de echte veranderingen die men heeft bereikt boven water halen, dan is dat een grote steun voor ngo’s om hun eigen verhaal te kunnen vertellen – een verhaal met inhoud en waarde, met voorbeelden die raken en veranderingen die ook het publiek en de politiek begrijpen.

Ngo’s moeten zich verzetten tegen een aantal van de onzinnige PME-tools die Buitenlandse Zaken oplegt. De gezamenlijke evaluatie die NWO-WOTRO namens brancheorganisatie Partos probeert uit te besteden biedt weliswaar openingen, maar het wordt tijd dat de sector zichzelf en het ministerie uitdaagt om het verkeerde managementdenken te vervangen door een kwalitatief hoogwaardige PME-aanpak. Op dit moment is de noodzaak groot om niet bij de verplichte rapportages te blijven hangen maar op eigen manier de werkelijke resultaten te monitoren en communiceren.

—————

Wolfgang Richert is consultant en evaluator en samen met Han van de Wiel verbonden aan ImpactReporters (www.impactreporters.eu).