‘Jullie zijn nog niet van mij af!’ aldus Prof. Dr. Ruerd Ruben, die nog vol energie zit, op zijn afscheidsseminar als directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB) bij het ministerie van Buitenlandse Zaken (BuZa). Hij zet zijn loopbaan voort als hoogleraar voedselzekerheid en als een van de directeuren van het LEI aan de Universiteit van Wageningen. Deze gelegenheid is dan wel  geen definitief afscheid van Ruben. Het is wel een goed moment om zowel terug te kijken op de evaluatiefunctie van het ministerie van Buitenlandse Zaken, als een blik vooruit te werpen op de nieuwe mogelijkheden voor de toepassing van beleidsevaluaties.

Eigenlijk wilden ze de titel ‘Hoe nu verder?’ gebruiken voor het afscheidsseminar van Prof. Dr. Ruerd Ruben. Helaas was deze titel al ingepikt door het onlangs uitgekomen boek over 65 jaar internationale samenwerking, waarvan Ruben één van de samenstellers is. Hierdoor waren de organisators van het seminar genoodzaakt met de suffere titel aan te komen: ‘De toekomst van de evaluatie van buitenlandsbeleid’. Ruben zelf zat allesbehalve versuft te luisteren naar onder andere minister  Ploumen, Ko Colijn (Directeur Clingendael) en Nanno Kleiterp (Directeur FMO); hij schrijft voortdurend mee met alles wat verteld wordt en straalt nog veel te veel enthousiasme uit tijdens zijn afscheidsspeech.

Ruben heeft het denken over evalueren stappen verder gebracht

De actieve en kritische houding van Ruben kon soms ook vervelend zijn voor zijn collega’s. Colijn: ‘Ruben kon goed stellig, ongeduldig en kritisch zijn’. Eerder vertelde Kleiterp in een artikel van Vice Versa dat de evaluatielat van het IOB heel hoog ligt en dat het lastig is om te voldoen aan alle criteria. Op die lat had Ruben waarschijnlijk veel invloed.

Ook Ruben zelf is verwonderd dat zoveel mensen zijn komen opdagen op zijn afscheidsseminar. Toch zijn we hier om vooral lof uit te spreken over deze gedreven hoogleraar en voormalig directeur, want deze houding heeft gezorgd voor veel  verandering in de evaluatiewereld.

Minister Ploumen: ‘Ruerd Ruben nam een ander discours met zich mee. Hij heeft het denken over evalueren stappen verder gebracht.’ Daarnaast geeft onze minister voor Buitenlandse Handel en Ontwikkelingssamenwerking aan dat door Ruben de focus van kwantitatief meten is verschoven naar kwalitatief meten. ‘Het bevorderen van het lerend vermogen, daar heeft Ruerd veel in geïnvesteerd.’

Ook Nanno Kleiterp geeft aan dat Ruben veel heeft betekend voor de verbeteringen van kwaliteit in evaluaties: ‘Het is belangrijk om te kijken naar het belang van de geëvalueerde.’ Ondanks dat Ruben volgens zijn collega’s juist de man van de kwaliteit is, begint hij zijn speech gelijk over het kwantiteitsmisverstand  over evaluaties, die hij de wereld uit wil helpen.

‘Ontwikkelingssamenwerking is het beleidsterrein met de grootste evaluatielast’

Dat is een veelgehoorde klacht, die Ruben met kracht wil ontkennen. Inderdaad, er verschijnen veel rapporten met de titel ‘evaluatie’, maar de meeste daarvan zijn slechts mid-term reviews of verslagen van activiteiten van een project die we niet kunnen beschouwen als echte evaluaties. Sterker nog, van de vele evaluaties geeft minder dan een kwart inzicht in de zaken waar het bij evaluaties om gaat: de behaalde netto resultaten en de verklaring van de ‘attributie’ (in hoeverre een activiteit heeft bijgedragen aan de resultaten). Er wordt dus zeker niet teveel geëvalueerd. Volgens Ruben is de norm dat 1 à 2% van het budget wordt besteed aan evaluaties dan ook heel redelijk.

Wat Ruben wel wil beamen is dat de gemiddelde kwaliteit van evaluaties in de ontwikkelingssector noemenswaardig is toegenomen. Deze kwaliteitsverbetering heeft twee oorzaken. Ten eerste de erkenning dat niet alles geëvalueerd hoeft te worden. Gebruik een selectieve aanpak die zich richt op terreinen waar grote onzekerheid bestaat, in plaats van evaluaties waar al genoeg over bekend is. Ruben: ‘Liever een goede evaluatie van een mislukt project dan een slechte evaluatie van een geslaagd project’. Van het mislukte project kunnen we namelijk nog iets leren en van de slechte evaluatie weten we niet eens of het project wel echt geslaagd was.

Ten tweede is er erkenning gekomen voor het feit dat programma’s en projecten over een helder en traceerbaar resultaatkader moeten beschikken. Ruben ziet het als een vooruitgang om goed na te denken over wat men wil bereiken, want ‘evaluaties beginnen aan de voorkant van het beleid’.

Wat hebben we geleerd van evaluaties?

In zijn speech noemt Ruben vier punten die laten zien dat evaluaties hebben bijgedragen aan een aanscherping van de effectiviteit van ontwikkelingssamenwerking.

1. Het denken in ‘resultaatketens’ heeft aangezet om meer, beter en eerder na te denken over wat beleid nu eigenlijk beoogt. Bijvoorbeeld door het effect van de gezondheidssituatie te traceren van de aanleg van watervoorzieningen in Benin, Mozambique en Egypte. Het netto effect op gezondheid was nul (zie hier het impactonderzoek). Het water uit de pomp was schoner, maar tijdens het transport trad er vervuiling op. Deze bevinding heeft geleid tot nieuw praktisch beleid voor een beter effectbereik. Een ander voorbeeld zijn landbouwprogramma’s die weliswaar zorgen voor meer productie, maar dat dit niet automatisch is terug te zien in een consumptietoename. Het is maar de vraag wie het extra verdiende geld ontvangt en waaraan het besteed wordt.
2. Evaluaties van belangrijke ontwikkelingssamenwerkingbeleidsterreinen hebben inzicht gegeven in het belang van goede publieke basisvoorzieningen voor het bereiken van de Millennium Development Goals. Hierdoor is bekend dat losse projecten en lokale programma’s weinig toevoegen aan de versterking van het onderwijs- en gezondheidssysteem, terwijl  omvangrijke en langdurige investeringen wel een verschil maken in het systeem.
3. Recentere evaluaties, vooral op het terrein van economische diplomatie en private sectorontwikkeling, hebben het ‘additionaliteit’- probleem onder de aandacht gebracht. Dit probleem gaat over het risico die de ontwikkelingssector loopt doordat private activiteiten worden gefinancierd door publieke middelen.
4. Het belang inzien om ontwikkelingssamenwerkingsprogramma’s op verschillende schaalniveaus te evalueren. Ruben betreurt het dat er de laatste jaren steeds meer afstand is genomen van macrosteun en het aantal projectfinancieringen is toegenomen, omdat daardoor inzicht in effecten op de lokale economie en samenleving beperkt blijven. Tegelijkertijd is er grote voortgang bereikt met vergelijkende landenstudies op de lange termijn.

Wat we als succesvol beschouwen kan gevaarlijk zijn. Donoren zullen eerder geneigd zijn te focussen op projecten waar de succeskans het grootste is. De vraag is echter of de groei voortkomt uit de sector zelf of daadwerkelijk door het project tot stand is gekomen. Ruben beweert dat het grootste netto effect te verwachten is van programma’s die juist de knelpunten van groei aanpakken.

Bescheidenheid vs. ambitieusheid

Omdat Ruben zijn IOB collega’s niet wil opzadelen met onmogelijke uitdagingen, moet hij wat terughoudend zijn. Daarom benadrukt hij dat de resultaten van de Nederlandse ontwikkelingssamenwerking best gezien mogen worden: 60% van het budget wordt afgedekt met evaluaties en de meeste beleidsartikelen scoren voor relevantie en doeltreffendheid gemiddeld 3-3,5 op een schaal van 1-4. Er liggen nog uitdagingen op het gebied van efficiency, duurzaamheid en coherentie waarin de scores variëren tussen de 2 en 2,5.

Ondanks deze scores waar men best tevreden over mag zijn, heeft ‘de ontwikkelingssector  een ongekend vermogen tot zelfkastijding’ aldus Ruben. De sector is behoorlijk bescheiden in het communiceren van deze resultaten.

Toch kan Ruben het niet laten om een aantal verbeterpunten over te dragen aan het ministerie voor Buitenlandse Zaken en het IOB. Ten eerste is er meer ruimte nodig voor ‘realtime evaluaties’, evaluaties die zijn ingebed in de beleidsuitvoering en eerder inzicht geven in de mogelijkheden van resultaatbereik.

Ten tweede is het van belang om meer experimenten toe te passen en een ‘differentieel design’ toe te laten. Dit houdt in dat er verschillende opties (looptijd, terugbetaling, rentevoet, etc.) worden aangeboden aan deelnemers van bijvoorbeeld kredietprogramma’s van FMO.

Ten derde moedigt Ruben het gebruik van simulatiemodellen aan. Er zijn tegenwoordig ruim voldoende gegevens beschikbaar om modellen te simuleren om te onderzoeken wat mogelijke uitkomsten zouden zijn van alternatief beleid. De uitkomsten hiervan worden steeds belangrijker, omdat het met de afname van de middelen van ontwikkelingssamenwerking het de vraag is welk beleid het meest bijdraagt aan armoedevermindering, zodat men daarin kan investeren.

Tenslotte is Ruben een groot voorstander om meer ‘payment on delivery’ toe te passen in programma’s. Dit betekent dat deelnemers pas geld ontvangen nadat ze een prestatie hebben geleverd. We zouden meer kunnen experimenteren met een meer zakelijke benadering en kunnen daarvan nog veel leren van Amerikaanse studies.

De (te) hoge lat

Nanno Kleiterp stelde zich blijkbaar niet aan met zijn verkondiging over de hoge lat die het IOB stelde waaraan evaluaties allemaal moeten voldoen. Op het einde van zijn speech geeft Ruben toe de lat wel eens iets te hoog te hebben gelegd, zodat er zelfs wel eens werd gesproken van een zogenaamde ‘Ruben norm’. Die norm zorgt echter wel voor kwaliteit. Ruben is namelijk niet voor meer, maar voor betere evaluaties op de lange termijn. Die Ruben norm moeten we dan ook serieus nemen, omdat kwalitatief betere evaluaties een bijdrage zullen leveren aan de reputatie en het vertrouwen van ontwikkelingssamenwerking.