Tien tips van Ray en Linda: Hoogtepunten van evaluatietrainingen (5/5)

Deel 5/5 – afronding van de evaluatie en nuttige checklists

In deze vijfdelige serie geeft Lieke Ruijmschoot tien tips die haar en medecursisten het meest zijn bijgebleven van trainingen over Planning, Monitoring en Evaluatie die door het IOB werden georganiseerd in de afgelopen jaren. In deel 5 tipt zij over de afronding van evaluaties en heeft ze nog nuttige checklists.

De IOB heeft twee keer een training over het (laten) uitvoeren van evaluaties in de ontwikkelingssamenwerking georganiseerd; in maart 2013 en november 2014. De trainers waren de Amerikaanse Linda Morra Imas en Ray Rist van het International Program in Development Evaluation Training (IPDET) in Canada. Enkele maanden later vroeg Lieke Ruijmschoot haar medecursisten welke inzichten hen het meest waren bijgebleven; dit resulteerde in tien lessen voor het organiseren van evaluaties. Bij dezen tip 9 en 10 over wat er na de afronding van de evaluatie van belang is, en tot slot nog enkele nuttige checklists en documentatie.

Tip 9. En dan…. Follow-up, kennismanagement en communicatie

En dan…. is de evaluatie afgerond. Het draft eindrapport zit in je inbox. Wat nu? Nu is het van belang om de vragen die je je aan het begin stelde, opnieuw af te wegen. Wie waren de voornaamste klanten van deze evaluatie? En wat hoopten zij er uit te halen? Oftewel, wie is nu het publiek van het eindrapport en wat hopen zij daarin te lezen? Welke doelen streefde je na met de evaluatie?

Het uitkomen van het eindrapport kan soms voelen als een enorme anticlimax. Op een bepaalde manier is dat goed: vaak is het belangrijkste doel al behaald tijdens de uitvoering. Zeker als je hoopte met medewerkers, partners en/of management te leren van de evaluatie en de methodieken daarop ingesteld waren, is er tussentijds al veel besproken en gereflecteerd en zijn sommige geleerde lessen (soms haast onopgemerkt!) al opgevolgd of hebben tot veranderingen van strategie geleid. Dan komt dat eindrapport een beetje als mosterd na de maaltijd om de hoek zetten. Toch is het zonde als het vervolgens op de welbekende spreekwoordelijke plank belandt, want er valt zoveel meer uit te halen.

Als je daar pas over na gaat denken wanneer het rapport in je inbox zit, is het eigenlijk al te laat. Goede opvolging vereist een goede voorbereiding. Voor het doel van verantwoording lijkt dat nog redelijk simpel: even een nette pdf van het rapport aan een mailtje hangen, verzenden naar de donor en klaar? Strategischer is om die te laten vergezellen door een management letter, waarin je zelf nog een keer de belangrijkste conclusies herhaalt, aangeeft welke lessen er al geleerd en opgevolgd zijn, en welke vervolgstappen er nog genomen gaan worden. Daarvoor is natuurlijk van belang dat je zelf al weet wat je met de uitkomsten wilt en kunt doen. Het is dus slim om ruim van tevoren een nabespreking op strategisch niveau in te plannen. Dat klinkt alweer als een open deur, maar toch wordt het in deze afrondende fase vaak vergeten, en is het schrijven van een management letter en versturen van het rapport vaak een slepend proces waarin alle energie die tijdens de evaluatie nog zo sterk was, weglekt.

Ray en Linda raadden aan om de evaluatie intern in te bedden in de bredere kennismanagement en bestaande processen van je organisatie. Worden de geleerde lessen opgenomen in een kennisstroom? In het inwerken van nieuwe mensen? Wie brengt binnen de organisatie kennis in kaart en hoe wordt kennis ontsloten? Wordt het meegenomen bij het bijstellen van strategieën? Ray schreef hierover een boek, From studies to stream. Voor onze FGG alliantie kwam onze midterm evaluatie wat dat betreft als geroepen, omdat we parallel daaraan bezig waren ons voorstel voor de strategische partnerschappen te schrijven. Belangrijke reflecties over strategie, thematische focus, monitoring en evaluatie, structuur van de alliantie, samenwerking en ga zo maar door konden daardoor meteen meegenomen worden in het voorstel voor de toekomst. Wel betekenden deze twee processen naast elkaar een drukke periode… maar gelukkig konden sommige activiteiten ook voor beide aangewend worden. Het betekende ook dat alle betrokkenen meer waarde hechtten aan de reflecties in de evaluatie; engagement en eigenaarschap waren daardoor groot, waar je als evaluatiemanager in andere gevallen soms veel moeite hebt om de juiste personen in een zaal bij elkaar te krijgen voor een reflectie.

Behalve voor kennismanagement, leren en bijsturen kan het eindrapport nog een belangrijke functie vervullen, namelijk in externe communicatie. Er kunnen belangrijke inhoudelijke, strategische en politieke lessen instaan die de moeite waard zijn om met de buitenwereld te delen. Dit vereist echter wel een goede communicatiestrategie, anders blijft het bij het publiceren op je eigen website, of – nog erger – gaan anderen met je evaluatie aan de haal die conclusies misschien totaal uit hun verband trekken. Ray en Linda zeiden hierover: ‘The goal is to communicate, not to impress’. Een goede communicatiestrategie loopt gedurende de hele evaluatie. Misschien wel de belangrijkste taak hierbij is om enkele heldere boodschappen te ontwikkelen: wat wil je dat het publiek écht hoort en onthoudt van die 200 pagina’s rijke teksten? Herhaling is hierbij van levensbelang; Ray en Linda citeerden organisatieveranderingsexpert Peter Vaill: ‘You must repeat yourself eight times before you are taken seriously’. Als je echt professioneel te werk gaat, ontwikkel je verschillende producten om die kernboodschap(pen) over te brengen; denk aan presentaties, vertalingen, mooie opmaak, factsheets, deelrapporten, animatiefilmpjes.

Zéker als politici een belangrijke doelgroep van je boodschap zijn, is dit van cruciaal belang, zo benadrukten enkele Kamerleden en Europarlementariërs die wij tijdens onze midterm evaluatie interviewden. Niet gek, gezien de hoeveelheid informatie die zij dagelijks te verwerken krijgen. Sywert van Lienden schreef hierover: ‘Elke week krijgt hij gemiddeld 700 pagina’s tekst van de regering, 100 brieven van instanties, organisaties en burgers, 500 e-mails en leest hij of zij 40 kranten, 20 tijdschriften en 15 rapporten. Daarnaast vinden er elke week ruim 20 Kamercommissievergaderingen plaats en 120 andere politieke vergaderingen waaraan hij kan deelnemen. En dan leest hij ook nog de hele dag tweetjes en sms’jes. Een informatietsunami overspoelt wekelijks het gemiddelde Kamerlid.’

Ook de media verdient speciale aandacht – het loont de moeite om zelf journalisten te benaderen en voeden met informatie. Partos heeft dit jaar niet voor niets een communicatiedeskundige in de hand genomen om de communicatie rond het uitkomen van de eindrapporten van de gezamenlijke MFS II evaluaties te stroomlijnen. De positieve boodschap in de media is hier zeker een gevolg van. Zie voor uitvoerige informatie over het managen van communicatie over evaluaties dit document van de OECD DAC.

Tip 10. Nuttige checklists

Als allerlaatste tip tot slot nog een paar nuttige checklists en documentatie die Ray en Linda ons gedurende de training meegaven.

  • IDEAS Crosswalk of Evaluator and Evaluation Manager Competencies and Characteristics
    Lijst met competenties van een evaluator/consultant; nuttig bij het opzetten van een Terms of Reference of Request for Proposals.
  • Dit achtergronddocument geeft ook de verschillende competenties voor een evaluatie manager en opdrachtgever aan.
  • Design matrix (p. 17) voor het opzetten van een evaluatie.
  • DAC glossary of key terms in evaluation and results-based management
    Een woordenlijst met de belangrijkste termen die in evaluaties veel gebruikt worden, in het engels, frans en spaans. Handig als je in andere talen te werk gaat!
  • IOB evaluation policy and guidelines for evaluations 2009
    De richtlijnen die IOB hanteert voor evaluaties.De IOB deelde ook een handige checklist uit die zij gebruiken voor het beoordelen van de kwaliteit van een evaluatierapport; deze staat helaas nergens online.
  • DAC Evaluating development cooperation; summary of key norms and standards
    Hierin staan de bekende evaluatiecriteria relevantie, effectiviteit, efficientie, impact en duurzaamheid beschreven (p. 13-14), maar ook kwaliteitseisen voor de opzet van evaluaties (pp. 22-24), de implementatie (p. 25), en het evaluatierapport (pp. 26-28)

 

Ik wens iedereen veel succes met de aansturing of uitvoering van toekomstige evaluaties!

 

Met hartelijke dank aan Akke Schuurmans (MCNV), Arjen Mulder (Warchild), Cobi Mars (destijds AMREF), Dieneke de Groot (ICCO), Julia McCall (IOB), Floris Blankenberg (IOB), Karel Chambille (Hivos), Mirjam Locadia (destijds Partos), Peter Das (ZOA), Renate Kersten (AgentschapNL – nu RVO), Rens Rutten (Cordaid) en Ruth van Zorge (Rutgers) voor het delen van hun belangrijkste inzichten.

Auteur
@digilieke

Datum:
02 oktober 2015
Categorieën: