Deel 3/5 Het selecteren van methodes en evaluatoren

In deze vijfdelige serie geeft Lieke Ruijmschoot tien tips die haar en medecursisten het meest zijn bijgebleven van trainingen over Planning, Monitoring en Evaluatie die door het IOB werden georganiseerd in de afgelopen jaren. In deel 3 tipt zij over methodes en evaluatoren.

De IOB heeft twee keer een training over het (laten) uitvoeren van evaluaties in de ontwikkelingssamenwerking georganiseerd; in maart 2013 en november 2014. De trainers waren de Amerikaanse Linda Morra Imas en Ray Rist van het International Program in Development Evaluation Training (IPDET) in Canada. Enkele maanden later vraagt Lieke Ruijmschoot haar medecursisten welke inzichten hen het meest zijn bijgebleven; dit resulteert in tien lessen voor het organiseren van evaluaties. Bij dezen tip 5 en 6: aan de slag met het zoeken van een evaluator en kiezen van methodes.

Tip 5. A Rarely Functional Process – het zoeken van de evaluatoren

Een tenderprocedure, ook wel bekend als een RFP, voor Request for Proposals, werd door Ray een Rarely Functional Process genoemd. Zo wordt er vaak gedaan alsof dit leidt tot onafhankelijke evaluatoren, maar, zoals één van de deelnemers zei: ‘Zodra een contract ondertekend is, zijn de evaluatoren niet meer onafhankelijk.’ Eenzelfde spanning ontstaat er als je op zoek bent naar een thema- of regiodeskundige, maar toch iemand wil die onbevangen en zonder voorkennis – met  bijbehorende vooronderstellingen – naar het onderwerp kan kijken.

Een derde spanning is er altijd tussen de wens om een externe expert een onafhankelijk oordeel te  laten vormen, en de wens om zoveel mogelijk interne mensen te betrekken bij de uitvoering van de evaluatie. Dit dilemma is soms letterlijk zichtbaar in de locatie van de evaluatie eenheid. Zo gaf Ray het voorbeeld van de ontwikkelingsinstantie van de Zweedse overheid, SIDA, waar ze een onafhankelijke externe evaluatie unit hadden opgezet voor meer onafhankelijke evaluaties, om die vervolgens weer te sluiten omdat het ’te extern’ was en er niet altijd voldoende begrip was van de projecten.

In mijn eigen ervaring is het om deze redenen belangrijk om niet alleen de (thematische, regionale, evaluatie) expertise van de evaluatoren mee te nemen in het tenderproces, maar ook de vaardigheden om met dergelijke dilemma’s om te gaan. Een belangrijke vaardigheid is naar mijn mening bijvoorbeeld het kunnen faciliteren van een groepsgesprek, en daarbij sensitief zijn voor relaties en processen. Deze vaardigheden kan een evaluator gebruiken om gevoeligheden vroeg aan te voelen en te managen. Want, zoals Linda zei, evalueren is ‘part science, part art’.

Een tip die ik ter harte genomen heb wat betreft het tenderproces, is om dit proces minder als een bureaucratische, papieren exercitie te zien, en meer als een sollicitatieproces. Dit bedoel ik op een aantal manieren. Ten eerste, dat een gesprek voeren met enkele potentiele evaluatoren onderdeel is van het selectieproces. Het is namelijk, naast enige inhoudelijke kennis, evaluatie-ervaring, het onderschrijven van een code of ethics (nog een tip van het Amerikaanse duo), en het kunnen schrijven van een goed plan, minstens zo belangrijk dat de evaluator een klik heeft met de organisatie. Ten tweede, dat je nog niet alles in je ToR van tevoren vastlegt, maar ruimte laat voor de creativiteit en inbreng van de evaluator. Bijvoorbeeld wat betreft de te gebruiken methodologie en de precieze invulling van de evaluatievragen. En tot slot, dat je in plaats van elke kandidaat om een volledig uitgewerkt plan inclusief gedetailleerd budget vraagt, het selectieproces in verschillende onderdelen opknipt. Deze fasering is naast efficiënter, ook socialer naar de potentiele evaluatoren toe.

Wij hebben voor onze mid term evaluatie bijvoorbeeld gevraagd om letters of interest van maximaal drie pagina’s met een focus op de voorgestelde methodologie en feedback op de ToR, en in de bijlagen een CV, één of twee recente evaluatierapporten, referenties en welke code of ethics zij onderschreven. Op basis van deze brieven maakten we een selectie van vier kandidaten die we uitnodigden hun voorstel te komen toelichten tijdens een presentatie en daarbij ook een budget mee te nemen. Het definitieve evaluatieplan werd pas daarna in samenwerking met de evaluator ontwikkeld.

Tip 6. The Battle of the Benaderingen (RCT, mixed methods, pipeline)

Uiteraard is een belangrijk onderdeel van de evaluatie de te gebruiken methodologie. Ray en Linda hebben ontzettend veel voor de Wereldbank en een heel scala aan andere grote, internationale instanties gewerkt en zijn dan ook goed ingevoerd in het gebruik van experimentele methodes waarbij een oorzaak-effect verband moet worden bewezen. Een aanpak die dankzij Esther Duflo en haar collega’s van het Abdul Latif Jameel Poverty Action Lab tegenwoordig veel bekendheid en waardering geniet, is het doen van Randomized Control Trials (RCTs). Gezien hun achtergrond, en het feit dat het duo door de IOB onder Ruerd Ruben was uitgenodigd, van wie ook bekend is dat hij groot voorstander van experimentele methodes was, verwachtte ik samen met een aantal collega’s een sterk promo-praatje voor RCTs. Dit pakte iets anders uit.

Wel vertelden Ray en Linda over de strijd binnen de Wereldbank tussen de economen en social scientists met hun verschillende opvattingen over impact meten: ‘It was a vigorous battle, but fun. It is not “good” and “evil”, but it’s damn close.’ Maar tot onze verrassing stelden zij dat zelfs bij de Wereldbank slechts 5(!) procent van de projecten in aanmerking kwam voor gebruik van experimentele methodes. Dit komt omdat dergelijke evaluaties strenge eisen stellen aan de opzet van de projecten. Zo moet er een controlegroep zijn, onder precies dezelfde omstandigheden als de projectgroep, behalve de interventie waarvan het effect gemeten wordt. Dit is in de praktijk bijna niet te doen; wel in een laboratorium met proefpersonen en medicijnen waarvan de inhoud exact bekend is, maar niet als het om sociale veranderingsprocessen gaat. Los van het bestaan van een controlegroep, spelen er nog andere complicerende factoren bij deze benadering – zo kan er kan sprake zijn van spillover van de projectgroep naar de controlegroep. Dan worden bijvoorbeeld door mond op mond reclame ineens in het dorp waar geen programma is opgezet, ook meer muggennetten gebruikt, of een taboe over aids doorbroken. Ook zijn er ethische bezwaren in het selecteren van bepaalde groepen voor een interventie en het uitsluiten van anderen.

Kortom, veel haken en ogen, zo erkenden ook Ray en Linda. Maar wanhoop niet: er zijn genoeg alternatieven om zinvol onderzoek te doen naar de effectiviteit van programma’s. Al was het niet helemaal duidelijk waar hun hart lag – ook zij refereerden nog altijd naar deze methodes als ‘non-experimental designs’. Dit terwijl er een schat aan ervaringen is, zoals Elliot Stern et al in 2012 al in opdracht van DfID beschreven. Zij noemen bijvoorbeeld het testen van theorieën (denk aan gebruik ToC), het gebruik van case studies en participatieve benaderingen allemaal als opties om ook hoe- en waaromvragen te beantwoorden, naast alleen maar een causaal verband (wat leidt tot wat) vast te stellen. Een suggestie van Ray en Linda die veel van ons goed bruikbaar leek, was de zogenaamde pipelinemethode. Hierbij gebruik je geen aparte, parallelle controlegroep, maar rol je een project gefaseerd uit, en meet je bij de verschillende deelnemers/groepen steeds op gezette momenten de voortgang. Hierdoor kan je toch vergelijken in de tijd, en tussen groepen. Dit is zowel praktisch voor de implementatie, je kunt immers vaak toch niet alles tegelijk doen, als voor de evaluatie.

Met hartelijke dank aan Akke Schuurmans (MCNV), Arjen Mulder (Warchild), Cobi Mars (destijds AMREF), Dieneke de Groot (ICCO), Julia McCall (IOB), Floris Blankenberg (IOB), Karel Chambille (Hivos), Mirjam Locadia (destijds Partos), Peter Das (ZOA), Renate Kersten (AgentschapNL – nu RVO), Rens Rutten (Cordaid) en Ruth van Zorge (Rutgers) voor het delen van hun belangrijkste inzichten.