Tien tips van Ray en Linda: Hoogtepunten van evaluatietrainingen (4/5)

Deel 4/5 – Het belang van rolverdeling en aandachtspunten voor het rapport

In deze vijfdelige serie geeft Lieke Ruijmschoot tien tips die haar en medecursisten het meest zijn bijgebleven van trainingen over Planning, Monitoring en Evaluatie die door het IOB werden georganiseerd in de afgelopen jaren. In deel 4 tipt zij over rolverdeling en aandachtspunten voor het eindrapport.

De IOB heeft twee keer een training over het (laten) uitvoeren van evaluaties in de ontwikkelingssamenwerking georganiseerd; in maart 2013 en november 2014. De trainers waren de Amerikaanse Linda Morra Imas en Ray Rist van het International Program in Development Evaluation Training (IPDET) in Canada. Enkele maanden later vroeg Lieke Ruijmschoot haar medecursisten welke inzichten hen het meest waren bijgebleven; dit resulteerde in tien lessen voor het organiseren van evaluaties. Bij deze tip 7 en 8 – over de verschillende rollen in het organiseren van een evaluatie en belangrijke eisen aan het eindverslag.

Tip 7. Rollen – breng de klanten in kaart en hou de taken gescheiden

Een leerzaam aandachtspunt van Ray en Linda was het bepalen van de verschillende rollen bij het organiseren van een evaluatie en wie daarbij welke verantwoordelijkheden heeft. Dit gaat namelijk nogal eens mis. Een veel gemaakte denkfout, is dat de opdrachtgever of commissioner (vaak een M&E medewerker), ook de daadwerkelijke klant van de evaluatie is. Meestal zitten er echter verschillende ‘klanten’ te wachten op de evaluatie.

Ten eerste zijn dit de betrokken inhoudelijke medewerkers en partnerorganisaties die van de evaluatie willen leren. Ten tweede zijn dit directeurs en managers die op meer politiek en/of strategisch niveau benieuwd zijn naar de uitkomsten. Ten derde natuurlijk de donor, die vaak om de evaluatie gevraagd heeft; het gevaar bestaat dan ook dat alleen donorwensen en vragen worden meegenomen, wat de interne leerpotentie in gevaar brengt. Ten vierde heeft de M&E-er natuurlijk wel degelijk een belang bij de evaluatie, en zijn er vaak ook lessen op M&E gebied uit te trekken. Tot slot heeft ook de evaluator zelf vaak een agenda; met name wanneer dit academici betreft, hebben zij vaak eigen vragen of hypotheses die ze willen testen – soms willen ze de evaluatie ook voor publicaties gebruiken. En ook als het geen wetenschappers maar consultants zijn, hebben ze vaak het belang een bepaalde portfolio op te bouwen. Misschien zijn zelfs communicatiemedewerkers geïnteresseerd, voor het geval er iets nieuwswaardigs uit de evaluatie komt. Of politici of andere externe actoren, die gebruik kunnen maken van de uitkomsten om een voorstel kracht bij te zetten. Wees je als evaluatiemanager dus bewust van de agenda’s en belangen van al deze ‘klanten’: breng ze in kaart bij het opstellen van de ToR en maak heldere afspraken over welke verwachtingen tegemoet gekomen kunnen worden, en welke niet.

Een hele praktische manier om gedurende de evaluatie te zorgen dat alle belangen worden behartigd, is het instellen van een referentiegroep, waarin de verschillende klanten vertegenwoordigd zijn. Die referentiegroep kan bijvoorbeeld meelezen met de ToR, het eerste evaluatieplan en het conceptrapport, en kan ook op andere belangrijke momenten meedenken zoals de selectie van de evaluator, het kiezen van methodes, en de communicatie rond publicatie van het eindrapport. Bij grotere evaluaties met meerdere partijen is het zelfs gebruikelijk om een externe referentiegroep in te stellen die ook een oordeel velt over de kwaliteit en het proces van de evaluatie. Dit is met name van belang als er grote waarde wordt gehecht aan onafhankelijkheid van de evaluatie (zie tip 5).

Een andere veel geziene denkfout in het verdelen van de rollen was volgens Ray en Linda ‘de evaluator lost alles op’. Alsof het evaluatieproces een zwart gat is waar je wat vragen, documentatie en contactgegevens voor interviews ingooit, en dan een oordeel uitkomt. Die aanpak werkt niet – de evaluatiemanager heeft van begin tot eind van het proces belangrijke verantwoordelijkheden en moet daar continu bij betrokken zijn. Zo wordt vaak in de ToR wel om heldere oordelen gevraagd (was het programma effectief?) maar vergeet men om daarbij ook zelf de norm te stellen: wat verstaan wij, als uitvoerder, onder effectief? Moet de target gehaald zijn? Laat het stellen van de norm niet aan de evaluator over. Aan de andere kant, hoeft ook niet alles al dichtgetimmerd te worden in de ToR; laat ruimte aan de evaluator om mee te denken over de evaluatievragen (met name subvragen) en -methodes. Dit vereist een goede afstemming aan het begin van het proces. Daarna is de evaluatiemanager inderdaad verantwoordelijk voor het aanleveren van documentatie (en heeft hier vaak weer collega’s en partners voor nodig), het organiseren van interviews en groepsgesprekken, praktijkbezoeken, bijeenkomsten met de referentiegroep, en het managen van de communicatie aan het eind (zie volgende week tip 9).

Tip 8. Papieren oorlogsvoering? Aandachtspunten voor het evaluatieverslag

Tijdens de training deelde Floris Blankenberg van de IOB met de groep wat hij zag als de drie meest voorkomende fouten in evaluatierapporten: 1. Een veel te lang rapport; 2. Niet ingaan op de beperkingen; 3. Geen datum op het document. Ja, die laatste zag je misschien niet aankomen, maar je zult in de praktijk versteld staan. Andere voor de hand liggende details: paginanummers en een inhoudsopgave.

Over de lengte van het rapport waren ook Ray en Linda duidelijk: ‘Delivering a very large evaluation report is a hostile act’. Dit geldt voor elke lezer, maar vanzelfsprekend in grotere mate voor lezers met weinig tijd, die ver van de uitvoering van de evaluatie afstaan (directeurs, politici) maar die je misschien juist wilt bereiken. Zorg daarom dat zowel het maximum aantal pagina’s, als het bestaan van een goede samenvatting, als eis in de ToR zijn opgenomen. Zorg ervoor dat die samenvatting helder de antwoorden op de hoofdvragen weergeeft; in de loop van een evaluatie krijgen vaak allerlei discussies en zijpaden, die veel interessanter lijken, de overhand. Je kunt verder ook denken aan andere vormen om de uitkomsten van de evaluatie voor verschillende ontvangers beschikbaar te maken (zie volgende week tip 9).

Er zijn bij de uitvoering van een evaluatie altijd beperkingen. De meest voorkomende beperkingen zijn de beschikbare tijd, budget en andere middelen, bronmaterialen en betrokkenen, en beperkingen die inherent zijn aan de gekozen onderzoeksmethode. Het is natuurlijk het handigst om hierover bij de start al realistisch te zijn en de opdracht in de ToR niet groter te maken dan met de beschikbare middelen mogelijk is. Desondanks loopt een evaluator altijd tegen grenzen aan. Het is belangrijk om hier in het evaluatierapport eerlijk en helder over te zijn, en toe te lichten welke keuzes hierin zijn gemaakt. Ook het bestaan van een hoofdstuk limitations in het eindrapport is dan ook een verstandige eis om in de ToR al vast te leggen.

Een laatste tip van het duo voor een eindrapport betreft het geven van aanbevelingen. Ray en Linda stelden voor om aan de evaluator helemaal geen aanbevelingen te vragen, maar dit aan de hoofdklanten van de evaluatie (zie tip 7 boven) over te laten. De evaluator heeft dan als taak om helder antwoord te geven op de hoofdvragen en eventueel een hoofdstuk Conclusies en/of Reflecties/Geleerde lessen toe te voegen. De aanbevelingen en besluiten over opvolging komen dan in de bijgaande management letter van de opdrachtgever zelf, die ten slotte ook met die aanbevelingen aan de slag moet. Dit maximaliseert het ownership van de aanbevelingen. Mocht je toch graag aanbevelingen willen, beperk je dan tot de twee of drie allerbelangrijkste.


Met hartelijke dank aan Akke Schuurmans (MCNV), Arjen Mulder (Warchild), Cobi Mars (destijds AMREF), Dieneke de Groot (ICCO), Julia McCall (IOB), Floris Blankenberg (IOB), Karel Chambille (Hivos), Mirjam Locadia (destijds Partos), Peter Das (ZOA), Renate Kersten (AgentschapNL – nu RVO), Rens Rutten (Cordaid) en Ruth van Zorge (Rutgers) voor het delen van hun belangrijkste inzichten.

Auteur
@digilieke

Datum:
18 september 2015