Ontwikkelingsorganisaties houden zich steeds meer bezig met evaluaties om te kijken wat er beter kan aan hun projecten. Maar hoe meet je de impact van een ontwikkelingsproject? Impact op wie of wat? En wanneer zijn de resultaten betrouwbaar? Het team World Citizens Panel van Oxfam Novib organiseerde een expert meeting om hun eigen methode, een combinatie van kwalitatief en kwantitatief onderzoek, eens flink onder de loep te nemen. Kritische experts Ruerd Ruben en Rick Davies gaven commentaar en hielden samen met een diverse groep deelnemers de onderzoeksmethoden in de ontwikkelingssector tegen het licht.     

‘Het begrijpen van impact is cruciaal, des te meer wanneer je met pubieke fondsen en publiek vertrouwen werkt’, zegt Farah Karimi in een volle zaal in het Humanity House. De algemeen directeur van Oxfam opent de expert meeting, waarbij de nieuwe methode van Oxfam, het combineren van kwalitatief en kwantitatief onderzoek via het World Citizens Panel (WCP), kritisch bekeken zal worden. Bij deze nieuwe methode gebruikt Oxfam een smartphone-app om data snel en op grote schaal te kunnen verzamelen. Deze data wordt weer als input gebruikt voor diepgaande kwalitatieve interviews met betrokkenen van een project; ‘stories of change’. ‘Zo krijgen steeds meer lokale mensen een stem in de evaluaties en in de programma’s van Oxfam.’

Hoe beïnvloeden deze twee vormen elkaar, en wat heeft dat voor gevolg voor de impact-meting? Sterker; wat is impact eigenlijk en hoe meet je het? Peter Huisman, onlangs geïnterviewd over het WCP door Siri Lijfering voor de laatste Vice Versa, definieert impact als ‘veranderingen in het leven van mensen waaraan Oxfam en partners hebben bijgedragen’ De projectcoördinator legt de uitdagingen van het panel uit. Het begint altijd met de kwantitatieve enquêtes. Die moeten simpel, betrouwbaar en betaalbaar zijn om in zoveel mogelijk landen zo veel mogelijk mensen te kunnen bevragen. Maar wanneer is het betrouwbaar? Het kwalitatieve deel, de ‘stories of change’ moeten inzicht geven in hoe de verandering tot stand kwam. Onverwachte en immateriële veranderingen en culturele aspecten komen hiermee aan het licht. Maar tot op zekere hoogte moeten hieruit generalisaties zijn op te maken. Hoe doe je dat? Discussies hierover ontspringen al snel, zeker na de keynote-speeches.

Tekenjongens

De eerste keynote-speaker is Ruerd Ruben, expert op het gebied van voedselveiligheid, waardeketens en impact. Bovenin de zaal kijken de ‘Jongens van de Tekeningen’ over het publiek uit. Zij volgen de hele dag en visualiseren de belangrijkste concepten in pakkende en overzichtelijke tekeningen. Handig, want het voelt alsof we in de collegebanken zitten. Met een hoge informatiedichtheid vliegen de twee keynotespeakers door hun stellingen, uitleg en voorbeelden heen.

‘Soms kan het falen van een bepaald project juist een kans opleveren voor een nieuw project,’ zegt Ruben aan de hand van een eigen voorbeeld uit Nicaragua. Daar leek het project waar hij in de jaren ’80 onderzoek naar deed in eerste instantie te falen. Maar toen hij onlangs terugging zag hij dat mensen hun leven wel degelijk een upgrade hadden gegeven. Er waren belangrijke spillover-effecten die niet voorzien waren, maar die er nu voor zorgen dat de nieuwe generatie nieuwe kansen heeft. Het is belangrijk dat te erkennen, vindt hij.

Are we doing things right?

Bij evaluaties moet men niet alleen kijken of de resultaten van een bepaald project kloppen met de gestelde doelen. De doelen zélf moeten ook geëvalueerd worden. Ruben vindt de vraag ‘Are we doing the right things’ daarom meer essentieel dan ‘Are we doing things right?’ ‘Zo is waterzuivering bijvoorbeeld belangrijker dan voedsel, want anders krijgen mensen diarree, dus alsnog onvoldoende voedingsstoffen. Daarbij moet ook de vraag worden gesteld: impact op wat moet gemeten worden? Er kunnen veel scholen zijn gebouwd waar steeds meer kinderen lessen volgen. Cijfers zeggen dan: een verhoging van het aantal schoolgaande kinderen, hoera! Maar leren ze echt iets? Zijn de docenten bekwaam? De klassen niet te groot? Wat kunnen die kinderen later met hun kennis bereiken?’

Impactevaluaties zorgen voor het verkrijgen van inzicht in veranderingen op de lange termijn. De metingen moeten betrouwbaar en robuust zijn, en gericht op de netto effecten. Die zijn vaak pas zichtbaar na diepgaand onderzoek. Het selecteren van interviewkandidaten moet zorgvuldig gebeuren, om te voorkomen dat een eventuele vooringenomenheid plaatsvindt. Als alle metingen gedaan en geanalyseerd zijn, moeten de resultaten vergeleken worden met de vooraf gemaakte ‘theory of change’. Tenslotte kan het project beoordeeld worden op zijn bijdrage aan de veranderingen.

De vijf W’s

Impactevaluatie bestaat kortom uit de vijf W’s: Wat Werkt voor Wie, Wanneer en Waarom, en ook: hoe? Belangrijke uitdagingen liggen onder meer in de zogenaamde ‘3E-impact’, zegt Ruben: effectiveness, efficency en equity. Daarbij moet volgens hem de meeste focus liggen op effectiviteit. Verder is het belangrijk de impact te  vergelijken op verschillende plaatsen en om de spillovers en economie-brede effecten te bekijken. Meer psychologisch inzicht is nodig om gedragsverandering te kunnen analyseren en begrijpen. En ten slotte, zegt Ruben, is het goed om dataverzamelingstools zoals ict en apps in te zetten. Hij pleit voor twee nieuwe manieren van meten. Gaming (‘nudging’) gaat over de vraag  hoe lokale mensen steeds meer in de programma’s en evaluaties betrokken kunnen worden. Modelling is het bestuderen en linken van de spillover-effecten en lange-termijngevolgen.

Causale verbanden

De Britse Rick Davies, de tweede keynote-speaker, is een onafhankelijke consultant monitoring en evaluatie van ontwikkelingsprogramma’s. Hij is het met Ruben eens dat lokale mensen meer betrokken moeten worden bij de evaluaties. ‘Trainingen kunnen ervoor zorgen dat zij zelf evaluaties kunnen uitvoeren, of erbij kunnen helpen. Dit heeft ook het bredere effect van geïnformeerd burgerschap.’

Davies focust op het interpreteren van zowel de kwalitatieve als kwantitatieve data. Oorzakelijke verbanden zijn complex en kunnen vaak op verschillende manieren geinterpreteerd worden. Je kunt niet zomaar stellen dat een bepaald resultaat is behaald door enkel het ontwikkelingsprogramma. ‘Vergelijk het met je doel om op het station te komen. Een fiets zal je er naar toe brengen, maar er zijn ook andere manieren.’ Dit is volgens Davies een toereikende maar niet noodzakelijke omstandigheid. ‘Een auto kan ook helpen, maar je bent afhankelijk van andere zaken zoals parkeerplaatsen bij het station; een noodzakelijk maar ontoereikend middel. Een fiets zal soms de enige optie zijn, en ook voldoende; noodzakelijk én toereikend.’ En dan kun je nog alles samenvoegen; ‘Je hebt een auto én een parkeerplek die samen toereikend zijn om op het station te komen.’ In de praktijk van ontwikkelingssamenwerking kun je op deze manier bijvoorbeeld analyseren of geletterdheid noodzakelijk of toereikend is om democratie te bevorderen. Een kruistabel van enquêtegegevens kan een hoop inzichten hierover opleveren. ‘Wat me moeten doen, is uitvinden – testen – uitvinden – testen, enzovoort. De data moeten transparant zijn. With enough eyeballs (and data) all bugs are shallow.’

Meer vragen dan antwoorden?

Met genoeg stof tot nadenken van Huisman, Ruben en Davies gaan de deelnemers van de expert meeting aan de slag in twee discussiegroeppen, gefocust op kwalitatief of kwantitatief onderzoek. In de ‘kwalitatieve’ groep worden dilemma’s voorgelegd als: hoe verbind je verhalen en enquêtes? Hoe kun je die twee het meest effectief mixen? Hoe zorg je in kwalitatief onderzoek dat mensen niet alleen vanuit hun vooroordelen of wensen met betrekking tot het project antwoord geven? Een aanwezige socioloog vindt dat je éérst verhalen moet horen en daarna pas enquêtes moet opstellen, in plaats van andersom, zoals het WCP het nu doet. ‘Mensen weten wat organisaties willen horen, dus antwoorden ze daar ook naar’, zegt een vertegenwoordiger van Buitenlandse Zaken.

In één van de groepen wordt geconcludeerd dat meta-analyse van alle data, eerst vanuit de verhalen, dan naar de enquêtes, de beste tip is. In de ‘kwantitatieve’ groep wordt besproken hoe Oxfam gelinkt kan worden aan lokale partners en universiteiten. Welke training geef je hen, en hoeveel? Moet je een hoogopgeleide interviewer met veel vaardigheden naar voren schuiven voor het houden van de enquêtes? Of iemand vanuit de gemeenschap die het vertrouwen van zijn mede-bewoners geniet en daardoor wellicht eerlijkere antwoorden krijgt?

Deze, en nog veel meer vragen komen naar voren op deze reflecterende dag. Er is niet één antwoord maar er zijn er een heleboel. Misschien wel net zoveel als deelnemers. Medewerkers van Oxfam Novib zijn alom aanwezig en roepen iedereen op zoveel mogelijk input te leveren, zodat zij alle discussiepunten vast kunnen leggen om hun World Citizens Panel er mee te versterken. Gelukkig helpen ook de tekenjongens. Hun tekeningen vatten de discussies op een bewonderenswaardige manier samen. Het helpt om aan het eind van de dag weer terug te komen op de bevindingen en om er kritisch op te kunnen reflecteren.