Stellen impactevaluaties de juiste vragen? Tijdens de bijeenkomst ‘Leren van Evalueren’ stond deze vraag centraal. Een van de (vele) conclusies: evalueren kan creatiever – het is immers niet alleen een kunde, maar ook een kunst. Een verslag.

Door: Dominique van de Kamp en Laura Vrijsen

De wachtlijst om deel te nemen aan deze dag, laat zien dat er veel belangstelling is voor dit onderwerp. Ruim 140 beleidsmakers, wetenschappers en professionals kwamen vrijdag 29 september samen in het Wageningen Economic Research in Den Haag. De dag was een vervolg op de eerste ‘Leren van Evalueren’ dag die in December 2015 werd gehouden.

Dagvoorzitter Ruerd Ruben, hoogleraar impact assessment aan de Universiteit van Wageningen, moedigde zijn publiek aan om op deze dag met elkaar in debat te gaan, over de vraag wanneer evaluatie tot leren kan leiden. Professionele sprekers, een gesproken column en negen inhoudelijke workshops gaven een diverse kijk op (impact)evaluaties.

Keynote spreker Frans Leeuw, directeur van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) gaf een samenvatting van de laatste trends en ontwikkelingen binnen de evaluatiewereld. Hij sprak zijn zorgen uit over het DKBD-syndroom (Don’t Know Big Data). Er is een teveel aan informatie waar we niets mee doen. Ook ziet hij een sterke trend in de afgelopen tijd, Short-termism. Tegenwoordig wil men het liefst direct resultaat zien.

Zijn advies is informatie teruggeven aan beleidsmakers en de samenleving. Hij noemt de website Ontwikkelingssamenwerking in beeld van het Ministerie van Buitenlandse Zaken, gemaakt in samenwerking met de IOB, als een goed begin.

Talkshow: Het evaluatie jaaroverzicht

Drie hoge krukken rondom de microfoon waren gereserveerd voor Wendy Asbeek Brusse (IOB), Lindy van Vliet (KIT) en Fons van der Velden (Context). Aan de panelleden werd gevraagd welke politieke en maatschappelijke trends zij het afgelopen jaar zagen. Hoe evalueer je in een wereld die steeds complexer wordt?

Vanuit het perspectief van het Ministerie van Buitenlandse Zaken, ziet Asbeek Brusse verschillende trends op evaluatiegebied. Omdat vraagstukken niet meer worden beperkt tot één beleidsveld, worden evaluaties steeds complexer. Neem ontwikkeling en handel, of interne en externe veiligheid. Daarnaast wordt de nadruk gelegd op het kunnen aantonen van korte termijn resultaten, het short-termism waar Frans Leeuw over sprak in zijn keynote. Een voorbeeld is laten zien dat belastinggeld goed wordt ingezet, door dit op korte termijn te verantwoorden. Op zich is dit volgens Asbeek Brusse een goede trend, maar ze geeft ook aan dat doelen op langere termijn buiten beeld kunnen raken. Een laatste trend is de groeiende vraag, in lijn met het thema van vandaag: “wat leren we eigenlijk van onze evaluaties?” Er zijn teveel evaluaties die uiteindelijk in de la belanden.

Als consultant sociaal ondernemen, houdt Van der Velden zich bezig met de koppeling tussen theorie en praktijk. Hij ziet de laatste jaren een sterke professionalisering op het vakgebied van evalueren. Tegelijkertijd heeft er ook disciplinering plaatsgevonden, en daar kijkt hij kritisch tegenaan. Van Vliet ziet ook de trend in short-termism, wat daarnaast vaak hand in hand gaat met kostenefficiëntie. Oftewel, het moet niet alleen snel, maar ook goedkoop.

Zij vond het jammer dat we soms op onze eigen data blijven zitten, er zou meer samengewerkt kunnen worden. Onderzoeksresultaten mogen daarom toegankelijker worden. Niet in de vorm van een rapport van 200 bladzijden, maar 2 pagina’s met een heldere conclusie.

Het panel concludeerde verder dat evalueren niet alleen een kunde, maar ook een kunst is. Het evaluatieproces mag creatiever, ook omdat resultaten van evaluaties lastig in cijfers uit te drukken zijn. We zouden vaker experimenten en kwalitatief onderzoek kunnen uitvoeren. Ruben sluit af met de essentie van deze talkshow: het stimuleren van meer creativiteit en diversiteit, waar aansluitend alle ruimte voor is tijdens de workshops van de dag. Het volledige programma is hier te vinden.

Wat volgt is een samenvatting van vier workshops:

Workshop: Het ondergeschoven kindje van impactevaluaties: ongeplande effecten

Bij impactevaluaties wordt vastgesteld of geplande doelstellingen zijn behaald en of voorspelde resultaten zijn uitgekomen. Maar kijken we ook naar de ongeplande effecten van een project? Te weinig, stelde Dirk Jan Koch, hoogleraar aan de Radboud Universiteit en werkzaam voor het ministerie van Buitenlandse Zaken. Hoewel ongeplande effecten letterlijk zijn opgenomen in de internationale richtlijnen van het Development Assistent Committee, worden ze in slechts 15% van de evaluaties van het USAID meegenomen. Waarom kijken we zo weinig naar ongeplande effecten?

Koch noemde hiervoor verschillende redenen. Allereerst is het een extra kostenpost en daar komt bij dat organisaties vaak worden geleid door een donor-driven focus op resultaten. Ook zijn de bestaande methodologieën voor het meten van ongeplande effecten zeer gebrekkig. Aan de hand van een typologie van ongeplande effecten gaf Koch een aantal suggesties om deze effecten alsnog te kunnen meenemen in impactevaluaties.

Zo kunnen ongeplande effecten bijvoorbeeld voorspelbaar of onvoorspelbaar zijn, te voorkomen of onvermijdelijk. Ze beperken zich daarnaast lang niet altijd tot de eigen doelgroep. Als voorbeeld noemt hij de invloed die een project in een dorp in Afrika kan hebben op bewoners van omliggende dorpen. Ook treden sommige ongeplande effecten direct op, terwijl andere pas later aan het licht komen. Het is daarom nuttig om over een langere periode te evalueren en daarbij verder te kijken dan naar alleen de eigen doelgroep. Daarnaast raadde hij aan om mogelijke alternatieve resultaten of ‘bijwerkingen’ al in een vroeg stadium vast te leggen.

Koch pleitte voor een flexibele methodologie, waarbij meteen al data wordt geanalyseerd en de methodologie gaandeweg aangepast kan worden. Een combinatie van kwalitatieve en kwantitatieve onderzoeksmethodes acht hij daarvoor het meest geschikt.

Workshop: ‘Hoe meet je de impact van Internationaal Maatschappelijk Verantwoord Ondernemen (IMVO)-beleid?’

Alexander Otgaar, senior beleidsonderzoeker IOB, presenteerde in deze workshop een eerste opzet voor de evaluatie van het IMVO-beleid in 2018. Otgaar legde uit dat MVO niet tot de landsgrenzen van Nederland beperkt kan worden, als het ook daarbuiten invloed heeft. Daarom wordt er nu ook gekeken naar de impact van het Nederlands beleid in de landen waar Nederland actieve ambassades heeft.

Het was even een zoektocht naar wat MVO betekent voor de overheid. De overheid wil het goede voorbeeld geven door een duurzaam inkoopbeleid na te streven, heldere voorlichting te geven en andere overheden aan te spreken op hun verantwoordelijkheid. MVO begint waar de wetgeving ophoudt, maar de wet kan zeker een bijdrage leveren door bedrijven te verplichten zich te verantwoorden, bijvoorbeeld op het gebied van kinderarbeid. Buitenlandse Zaken heeft een aantal sector convenanten afgesloten waarin afspraken met betrekking tot milieu, duurzaamheid en mensenrechten zijn vastgelegd binnen het kader van de OESO-richtlijnen. Het doel is om negatieve effecten binnen drie tot vijf jaar te kunnen verminderen.

Belangrijke punten van de Theory of Change zijn de versnelling van duurzame ontwikkeling van ontwikkelingslanden en de risicovermindering in wereldwijde productieketens. Het is nog een uitdaging om de doelstelling SMART te formuleren. Een kritische noot volgde uit het publiek, met betrekking tot de neokoloniale formulering van deze doelstellingen: in hoeverre zitten productielanden te wachten op ons beleid, en gaat het niet juist om duurzame ontwikkeling in eigen land? Dit is iets om over na te denken als de Nederlandse overheid de schade wil verminderen die het buiten de grens toebrengt.

Workshop: Journalistiek als evaluatiemethode

Welke meerwaarde kan journalistiek bieden bij evaluaties? Die vraag stond centraal bij de workshop die werd geleid door Edith van Ewijk en Roeland Muskens, werkzaam voor Wereld in Woorden. Muskens stelde dat evaluatierapporten bol staan van cijfers en grafieken, waardoor persoonlijke verhalen en ervaringen van betrokkenen verloren gaan. In plaats daarvan zouden we journalistieke instrumenten moeten inzetten, die de evaluatierapporten van meer context kunnen voorzien.

Zijn stelling riep verontwaardiging op bij sommigen in de zaal, grotendeels gevuld met professionals uit de ngo-wereld. Verschillende aanwezigen gaven aan dat ze bij eindrapportages hun uiterste best doen om persoonlijke verhalen centraal te stellen. Zo is er altijd ruimte voor de zogenoemde impactstories en worden er naast kwantitatieve ook veel kwalitatieve onderzoeken gedaan, juist om die persoonlijke verhalen ruimte te geven. Muskens bracht daartegenin dat die verhalen daarbij niet als startpunt worden genomen. Dat zijn volgens hem namelijk de tabellen en cijfers en daardoor zouden veel verhalen alsnog verloren gaan.

Waar Muskens het publiek had willen overtuigen van het belang van verhalen in evaluatierapporten, leken de aanwezigen vooral geïnteresseerd in de meerwaarde die de journalistiek hierin kan bieden. Dat verhalen vertellen een goed evaluatiemiddel is, daar was iedereen het over eens. Maar wat doet een journalist anders dan een evaluator die persoonlijke verhalen in zijn evaluatie verwerkt?

Muskens stelde dat een journalist zich onderscheidt van een evaluator doordat hij op zoek gaat naar het informele, naar de uitzondering. Niet iedereen was daarvan overtuigd, hoewel men wel geïnteresseerd was in de kritische blik die een journalist kan bieden. Als buitenstaander zou hij de organisatie kunnen wijzen op onbewuste aannames. Een aanwezige stelde daartegenover dat een journalist vaak een eigen agenda heeft, waardoor hij misschien zaken gaat belichten die niet relevant zijn.

Van Ewijk gaf toe dat er nog veel te leren en ontwikkelen is rondom journalistiek als evaluatiemiddel. De grootste uitdaging daarbij is volgens haar om helder te krijgen waarin de journalistieke methode verschilt van de huidige kwalitatieve benadering van verhalen vertellen. Het gesprek daarover is vandaag in ieder geval in gang gezet.

Workshop: ‘Maar verandert het gedrag ook? Van het meten van inkomens naar gedragsexperimenten.’

Vanuit haar ervaring met impactevaluaties van (rurale) ontwikkelingsprojecten in Liberia, gaf onderzoeker Gonne Beekman (WUR) een interactieve workshop waarin ze de deelnemers zelf een klein experiment liet uitvoeren. Elke deelnemer kreeg vijf pepernoten en werd verdeeld in groepen van vier. Als elk groepslid zijn pepernoten inleverde, werd het aantal verdubbeld en worden de pepernoten herverdeeld binnen de groep. Als iedereen alle pepernoten inleverde, kreeg elk groepslid dus twee keer zoveel terug. Dit gebeurde anoniem, men kan er ook voor kiezen om niets in te leveren.

Er werden twee rondes gespeeld. In de eerste ronde werden aanzienlijk meer pepernoten gedeeld dan tijdens de tweede. Ondanks de overduidelijke win-win situatie ging niet iedereen all-in. De les die we hieruit trekken, is dat geven en ontvangen een kwestie is van wederkerigheid. Wat je weggeeft is gebaseerd op je verwachtingen van anderen. Een van de deelnemers vroeg zich af of we het ‘echte’ leven meten, of het leven in het spel? Zou u in het echte leven al uw pepernoten weggeven? Vertrouwen is hierbij een belangrijk concept.

Een dergelijk spel zoals deze goed is te gebruiken als ijsbreker en om een gevoelige situatie bespreekbaar te maken, maakte Beekman duidelijk. Experimentele methoden worden nog niet vaak gebruikt in de evaluatie wereld. Als aanvulling op kwantitatieve gegevens, kan het volgens haar waardevol zijn om via een spel inzicht te krijgen in gedragsveranderingen en de vraag waarom mensen bepaalde keuzes maken. Hoe kun je experimentele methoden inzetten om bepaalde informatie te achterhalen bij evaluaties?

Slotdebat

De dag eindigde met een slotdebat over de toekomst van evalueren. Centraal stond de vraag of we wel de juiste vragen stellen bij impactevaluaties. Johan van de Gronden, CEO van PUM, vroeg zich hardop af wat het samengaan van Hulp en Handel ons eigenlijk heeft gebracht. Volgens hem is er een gebrek aan consensus en heeft het overmatige gebruik van jargon ervoor gezorgd dat er geen helderheid meer is voor beleidsmakers.

Gonne Beekman stelde dat er te weinig gekeken wordt naar de oorzaken van de resultaten van evaluaties. Daarnaast moeten we volgens haar meer verantwoordelijkheid nemen en kritisch durven te zijn, bijvoorbeeld door opdrachten te weigeren wanneer die niet relevant zijn.

Robert Dijksterhuis, manager internationale zaken bij de RVO, benadrukte dat causaliteit moeilijk te meten is bij evaluaties. Hij vroeg zich af hoe we tot betere vragen kunnen komen en welke stappen we daarvoor moeten nemen. Daarnaast pleitte hij ervoor dat we ons meer moeten richten op do good actviteiten in plaats van op do no harm activiteiten. Zo waren de SDG’s volgens hem een goede ontwikkeling, doordat we internationale standaarden en normen hebben aangenomen kunnen we elkaar meer tot de verantwoording roepen.

 

‘Leren van Evalueren’ is een initiatief van IOB, Wageningen University and Research, NWO WOTRO Science for Global Development en Vice Versa.