De gezamenlijke evaluatie van het Medefinancieringsstelsel (MFS-2) is nu al omstreden, terwijl de eerste meting nog moet beginnen. Met name bij de projectevaluatie worden vraagtekens gezet.

Mijn zware tas komt met een doffe plof neer op de blauwe vloer van het kantoor van Huib Huyse in Leuven. Huyse is hoofd van de onderzoeksgroep ontwikkelingssamenwerking aan de Katholieke Universiteit Leuven. De Belgische onderzoeker volgt de evaluatie van het MFS-2 al een tijdje en plaatst kanttekeningen bij de aanpak. In maart 2011 verdedigde hij een proefschrift aan de Universiteit van Sussex over de uitdagingen die ontwikkelingsorganisaties hebben op het vlak van monitoring en evaluatie. Als evaluator is hij actief in zowel Nederland als België.

In de tas die ik uit Nederland heb meegenomen zit een map met zeshonderd pagina’s informatie over de evaluatie. De info is geplukt van de website van de Nederlands Organisatie voor Wetenschappelijk Onderzoek (NWO), die de kwaliteit van de evaluatie moet waarborgen. Via de website van NWO konden onderzoeksteams uit de hele wereld informatie krijgen over de evaluatie en een onderzoeksvoorstel indienen.

Controlegroepen

‘Ik volg nu al een tijdje het Nederlandse debat rondom de evaluatie van MFS-2’, stelt Huyse. Dit debat gaat terug tot 1 november 2010, toen het ministerie van Buitenlandse Zaken (BuZa) de eisen voor monitoring en evaluatie van MFS-2 bekend maakte aan de organisaties die geld krijgen uit dit stelsel. Het gaat om in totaal 20 allianties van 60 organisaties. Van hen wordt verwacht dat zij de situatie vóór (een zogenaamde 0-meting) en na (een 1-meting) een programma onderzoeken en deze met elkaar vergelijken. Ook moeten organisaties gebruikmaken van controlegroepen, waarbij een groep die geen hulp ontvangt wordt vergeleken met een groep die wel hulp ontvangt. Negentien van de twintig allianties hebben besloten om deze evaluatie gezamenlijk uit te voeren.

In het artikel ‘Actal-rapport geeft ngo’s gelijk: Regeldruk MFS-2 is overdreven’ in Vice Versa  van september vorig jaar kwamen de eisen die het ministerie stelde al aan bod. Volgens Bram van Ojik, directeur van de Directie Sociale Ontwikkeling (DSO) van het ministerie, was de invulling van de eisen ‘na intensief overleg tot stand gekomen’. Alexander Kohnstamm van bracheorganisatie Partos had echter een ander verhaal: ‘Toen de evaluatie-eisen al een feit waren, was er inderdaad ruimte voor overleg over de uitvoering, maar van onze protesten voor die tijd trok het ministerie zich niets aan.’

Paar stappen verder

Inmiddels zijn we een paar stappen verder. De evaluaties worden verdeeld onder acht onderzoeksteams, één per land. De landen waarin geëvalueerd zal worden zijn Congo, Bangladesh, Ethiopië, India, Indonesië, Liberia, Pakistan en Oeganda. De teams evalueren in totaal zestig ontwikkelingsprojecten in deze landen. Deze zestig projecten vormen samen het eerste van de in totaal vier ‘resultaatgebieden’ die zullen worden geëvalueerd. Naast de projecten worden ook de resultaatgebieden capaciteitsopbouw van partners, versterking van het maatschappelijk middenveld, en internationale lobby en advocacy gemeten.

De kritiek van Huyse richt zich op de gehanteerde methode van evalueren van de ontwikkelingsprojecten – niet op die van de overige drie resultaatgebieden. Huyse: ‘De organisaties benadrukken in essentie dat de methode een at random representatieve steekproef doet, en dat je daarmee gegarandeerd uitspraken kunt doen over alle MFS-2 projecten.’ Voor de steekproef zijn alle projecten in de gekozen acht landen onderverdeeld in acht thema’s, zoals goed bestuur, fragiele staten en de verschillende Millenniumdoelen. Om tot een representatief totaalbeeld te komen, zijn de projecten vervolgens willekeurig geselecteerd, waarbij van elke alliantie en elk thema minstens één project in de steekproef werd opgenomen.

Masochistisch

Kan men op basis van deze aanpak echter wel uitspraken doen over het enorme pakket van MFS-2-projecten? Onderzoeker Huyse stelt daar een aantal vraagtekens bij: ‘De projecten in de steekproef zijn vooraf al bekendgemaakt aan de onderzoeksteams. Organisaties weten dat de toekomstige financiering in een nieuw subsidiestelsel mogelijk afhangt van de uitkomst van de evaluatie. Het zou masochistisch zijn van de betrokken ngo’s en hun partners in het Zuiden om de geselecteerde projecten niet meer aandacht te geven dan niet-geëvalueerde projecten. Dit kunnen ze bijvoorbeeld doen door hun beste mensen op deze projecten te zetten. Hierdoor worden de projecten onderling minder vergelijkbaar.’

Huyse gaat verder: ‘De onderzoekers gaan tijdens de 0-meting in gesprek met wie bij de projecten betrokken is. Als onderzoeker wil je namelijk precies weten wat je meet en praat je hierover met de projectmedewerkers. Uit eigen ervaring weet ik dat deze interactie leereffecten met zich meebrengt, want onderzoekers hebben vaak veel expertise op zak. De medewerkers gaan op een andere manier over het project nadenken en stilstaan bij waar ze mee bezig zijn. Als project zou het onethisch zijn om hier niets mee te doen. Deze projecten worden hierdoor minder vergelijkbaar met de niet-geëvalueerde projecten.’

Dat zou je denken

In Nederland ga ik te rade bij Cordaid in Den Haag, waar Rens Rutten als evaluatiemanager werkt. De afgelopen jaren is zij bekend geraakt met deze methodiek door een pilot van Cordaid met zes ontwikkelingsinterventies. Ik leg een van de kanttekeningen van Huib Huyse aan haar voor. Gaat Cordaid extra aandacht besteden aan de projecten die in het kader van MFS-2 geëvalueerd zullen worden?

‘Grappig, dat zou je inderdaad denken’, antwoordt Rutten. ‘Maar in de praktijk doen we dat niet. We kunnen niet eens meer geld aan deze projecten besteden, want dat staat allemaal al vast in contracten met projecten. Daarnaast worden een aantal van de geselecteerde projecten voor de evaluatie misschien volgend jaar afgebouwd, bijvoorbeeld omdat de contracten aflopen met de partner. We zetten dus niet extra in op de geëvalueerde interventies.’

Het hele artikel lezen, met nog meer kritiek van Huyse op de evaluatiemethode en de ervaringen van Rens Rutten met de methodiek?  Kijk in de nieuwe Vice Versa die deze week verschijnt. Neem een abonnement.