Veel nuttige lessen verdwijnen na het verschijnen van een evaluatierapport al snel in een la. Op het Partos-seminar Learning for the Future op 14 april gaat het onder andere over de vraag hoe je dit voorkomt, met name voor de lessen van MFS-II. Volgens evaluator Wouter Rijneveld worden de lessen eerder in de praktijk gebracht wanneer een organisatie kiest voor slimme monitoring en evaluatie.

Welk evaluatierapport ligt er op uw nachtkastje? Grote kans dat het antwoord luidt: ‘geen enkel’. ‘Zonde’, vindt evaluatie-expert Wouter Rijneveld, die met zijn bedrijf Resultante maatschappelijke organisaties inzicht geeft in hun resultaten. Hij is betrokken bij de IRG (interne referentiegroep van de gezamenlijke MFS II-evaluatie) en stelt op dit moment  in opdracht van Partos met Vice Versa een boekje samen over interessante lessen die uit de evaluatie naar voren komen.

In de ontwikkelingssector wordt toch juist veel aandacht besteed aan monitoring en evalueren? Dan zal er toch ook wel veel van geleerd worden?

‘De eisen zijn inderdaad aangescherpt en in de literatuur en op conferenties over evaluaties is er veel aandacht voor use, het in de praktijk brengen van lessen van een evaluatie. Maar de realiteit is dat veel evaluaties nog steeds eindigen in een slecht gelezen rapport.’

Welke lessen komen er naar voren uit de evaluatie van MFS-II?

‘Heel veel, het gaat om ongeveer 11.500 pagina’s tekst. De evaluatie kijkt in de eerste plaats naar veranderingen op het gebied van de MDG’s, daarnaast wat Nederlandse organisaties met MFS-geld hebben betekend voor capaciteitsversterking bij partnerorganisaties en als laatste in hoeverre ze hebben bijgedragen aan de versterking van het maatschappelijk middenveld.

Als het gaat om use, kun je daar op verschillende niveaus naar kijken. Op het laagste niveau kijk je naar de projecten die eruit gepikt zijn in de evaluatie. Wanneer er bijvoorbeeld een onderwijsproject van een partner in India is geëvalueerd, kan die partner de evaluatie gebruiken om het project te verbeteren. Maar ik vermoed eerlijk gezegd dat dat beperkt zal gebeuren.

Op een niveau hoger kijk je naar wat Nederlandse allianties ervan zouden kunnen leren. Ik weet dat er allianties zijn die uit die 11.500 pagina’s de lessen over hun programma en hun partners gevist hebben.

Op het niveau daarboven kijk je naar het MFS-stelsel. Over het algemeen waren de evaluatoren positief, maar als je goed leest, zie je ook kritische opmerkingen die de ontwikkelingssector zich absoluut moet aantrekken.’

Kun je een voorbeeld noemen?

‘De evaluatie is bijvoorbeeld kritisch als het gaat om het analyseren van de efficiency: bereiken we zoveel mogelijk met zo weinig mogelijk middelen? Vaak blijkt de informatievoorziening niet goed op orde, waardoor organisaties dat soort analyses niet eens kunnen doen. Dan kun je als alliantie natuurlijk tegenwerpen: “De praktijk is nu eenmaal niet zo eenvoudig, elke context is anders.” Maar hoe je het ook wendt of keert, blijkbaar doen we er onvoldoende aan om goede analyses te kunnen maken van de efficiency. We zijn het als ontwikkelingssector aan onszelf verplicht om dat op te pakken.’

Hoe kun je ervoor zorgen dat evaluaties na afronding optimaal gebruikt worden?

‘Daarvoor is het proces van evalueren minstens zo belangrijk als het uiteindelijke rapport. Een goed voorbeeld is een erg leuke evaluatie die ik onlangs heb gedaan voor een organisatie die in veel landen werkt. Die organisatie had expliciet als doel om de uitkomsten te gebruiken om dingen te verbeteren en had daar ook budget voor uitgetrokken.

Bij het nadenken over de aanpak houd je er dan al rekening mee. We hebben ervoor gekozen om medewerkers uit verschillende landen zelf mee te laten doen in de evaluatieteams. Het gevaar van het inzetten van eigen medewerkers is dat mensen niet objectief naar het werk kunnen kijken, als een slager die zijn eigen vlees keurt. Dat hebben we opgelost door medewerkers niet in hun eigen land, maar in een ander land mee te laten kijken. Op die manier hoeven ze niet hun eigen vlees te keuren. Maar doordat ze allemaal betrokken zijn bij de organisatie, gaan ze vanzelf informatie uitwisselen met elkaar. Ze vragen elkaar bijvoorbeeld: “Zie jij ook dat de mensen die de vakopleiding gedaan hebben, helemaal geen baan kunnen vinden.” Dat motiveert om uiteindelijk met de resultaten aan de slag te gaan.’

Is dat de oplossing: medewerkers betrekken?

‘Een van de vele oplossingen. Maar voor welke aanpak je ook kiest, het belangrijkste is dat je een balans creëert tussen betrokkenheid en afstand. De evaluator moet een zekere afstand hebben om goed te kunnen oordelen, maar te veel afstand zorgt er weer voor dat er binnen de organisatie een psychologische afstand ontstaat ten opzichte van de uitkomsten.

Een andere manier waarop je de afstand kunt verkleinen, is het organiseren van leerbijeenkomsten. Die organisatie waar ik het net over had, heeft in elk land workshops gehouden over alle uitkomsten van de evaluatie. Naar aanleiding daarvan hebben we een heel klein boekje uitgebracht, van maar 10 x 10 cm, met de belangrijkste punten uit de evaluatie. Dat boekje wordt inmiddels gebruikt in tientallen landen waar die organisatie werkt. Ook hebben we een driedaags internationaal seminar gehouden over de dilemma’s die uit de evalutie naar voren waren gekomen. Alles bij elkaar heeft dat veel impact gehad, er zijn allerlei balletjes gaan rollen. Als een organisatie op zo’n manier betrokken wordt bij de evaluatie, gebruikt ze de conclusies uit een evaluatie eerder.’

Op welke manier kun je dit oplossen als het gaat om monitoring?

‘Monitoring is bij uitstek geschikt om te leren en bij te stellen, maar in de praktijk blijkt dat organisaties het vooral gebruiken om verantwoording af te leggen bij de donor. Voor Partos heb ik daarom onderzocht op welke manier leden monitoring gebruiken. Dat rapport wordt binnenkort gepresenteerd.

Het lastige is dat monitoring vaak onvoldoende kwaliteit heeft. Het gevolg is dat de donor dan vindt dat er beter gemonitord moet worden en ingewikkeldere instrumenten inzet. Vervolgens blijkt er bijvoorbeeld onvoldoende capaciteit of geld beschikbaar te zijn om dit goed uit te voeren, waardoor er opnieuw slecht werk geleverd wordt. En dan scherpt de donor de eisen nog verder aan. Dat levert frustratie op aan beide kanten.’

Wat is dan de sleutel om het wel goed te doen?

‘Ik zeg altijd: je hebt niet het recht om te vragen om informatie die je niet gebruikt. Als je kijkt naar surveys, zijn die vaak nodeloos lang en ingewikkeld. De helft van de vragen kun je vaak wegstrepen: daar doen organisaties uiteindelijk toch niets mee. Het is van belang om je van tevoren af te vragen welke beslissingen je wilt nemen en welke informatie je daarvoor nodig hebt. Wil je bijvoorbeeld weten of je bepaalde partnerschappen moet verlengen? Verzamel dan alleen de informatie die je daarvoor nodig hebt. Beperk jezelf tot de kern.’

Maar de donor wil toch juist zoveel mogelijk informatie?

 ‘Ja, maar zelfs dan hoef je geen 130 vragen te stellen. Misschien kun je ook wel toe met 20. Ga in gesprek met de donor. Uiteindelijk is die meer geïnteresseerd in wat er in het veld gebeurt dan in een excelsheet met honderden gegevens. Sluit een compromis: kijk wat je zelf echt wilt weten, voeg daar eventueel een paar extra vragen aan toe als de donor dat wil. Als het gaat om monitoring, is weinig en goed voor iedereen beter dan veel en slecht.’

Zijn er bepaalde evaluatiemethodes die eruit springen als het gaat om leren van de resultaten?

‘Nee, dat laat ik graag open. Ik denk wel dat het makkelijker is om van de uitkomsten te leren wanneer je een kwalitatieve methode gebruikt. Bij een kwantitatieve methode worden de uitkomsten vaak verpakt in statistische gegevens en daarmee in een taal die voor veel gebruikers onbegrijpelijk is, bij kwalitatieve methoden krijg je eerder uitleg over de mechanismen: hoe komt het dat dit en dat veranderd is, wie heeft welke rol gespeeld, welke gevolgen heeft dat gehad?’

Dus werkt een kwalitatieve methode het beste?

‘Dat ook weer niet, want je krijgt uitleg over een specifiek geval. Bij boer X heeft het programma bijvoorbeeld bijgedragen aan de gewenste verandering, maar wat heeft het betekend voor die andere 590 boeren? Ik ben een voorstander van het combineren van een kwalitatieve en kwantitatieve aanpak. Dat kan heel goed met verschillende methoden.’

Als jij een evaluatie hebt uitgevoerd, probeer je de organisatie die de opdracht gegeven heeft, dan te overtuigen iets met de resultaten te doen?

‘Als ik kansen zie wel, ja, want ik vind het jammer wanneer er niets mee gebeurt. Maar soms laat een organisatie een evaluatie vooral uitvoeren om een subsidiegever tevreden te stellen en is die ruimte er niet. Dan ga ik niet duwen en trekken. Organisaties zijn geen verantwoording verschuldigd aan mij. Overigens loopt het niet altijd zo zoals ik denk. Het gebeurt ook wel eens dat ik denk dat een evaluatie in een la verdwenen is, maar er dan een jaar later ineens over gebeld word.

Overigens slaken de meeste mensen een diepe zucht als je begint over M&E, PMEL of PME. Ik zou willen dat mensen het leuk gaan vinden. En dat kan júist als je de resultaten gaat toepassen. Dan zien mensen wat het oplevert als je je inspant om inzicht te krijgen, dat ze daarmee daadwerkelijk veranderingen in gang kunnen zetten.’

Kijk voor meer informatie over het seminar van komende donderdag op https://www.partos.nl/actueel/agenda/evenement/seminar-learning-future-0​