Evalueren als core business

“Meer (impact)onderzoek is zeker niet de oplossing voor de professionalisering van de goede doelen sector” schreef Edith Kroese eerder deze maand op ViceVersa Online, onder verwijzing naar de vele evaluaties die al worden uitgevoerd. Geëvalueerd wordt er zeker, maar uit de recente Private Sector Development beleidsdoorlichting van IOB blijkt maar weer eens dat deze evaluaties bar weinig informatie opleveren over effectiviteit. Om dat op te lossen, moeten overheid en goede doelen effectevaluaties meer gaan zien als kernactiviteit, vindt Sharon van Ede, consultant bij APE Economisch Onderzoek & Advies.

De conclusie van IOB, dat veel evaluaties weinig informatief zijn, is geen verrassing. Ondergetekende werkte mee aan diverse van zulke. De lijst van problemen is lang en bekend: geen heldere theory of change, geen resultaatindicatorenop outcome- of impactniveau, geen nulmetingen, verkeerde evaluatietiming. Dit maakt het moeilijk, zo niet onmogelijk, om te leren, te vergelijken en te verbeteren. Onze ervaring is dat ontwikkelingssamenwerking zich hiermee niet onderscheidt van andere beleidsterreinen, maar dat maakt het niet minder treurig.

Minister Ploumen heeft inmiddels haar intentie uitgesproken om al haar beleid evalueerbaar maken en wel op impactniveau[1]. Dat is een enorme stap vooruit, waarvan de eerste gevolgen nu al zichtbaar zijn in de vormgeving van nieuwe regelingen. Maar het zal nog jaren duren voordat dit de kennis oplevert die tot effectievere projecten leidt. In de tussentijd woedt het debat in de sector en daarbuiten door over de vraag hoe ver we moeten gaan in impactevaluaties en hoeveel tijd en geld we daaraan mogen besteden.

Bestemming

Als onderdeel van die discussie raadt Kroese goede doelen, mede vanwege de kosten, aan om minder brede evaluaties en impact studies te doen en effectmeting meer te integreren in de bedrijfsprocessen. Dat integreren steun ik van harte. Het heeft beperkt nut om alleen achteraf te kijken of een project is geslaagd. Dan is het te laat voor bijsturing, maar dat is niet de enige reden. Om het bij een volgend project (nog) beter te kunnen doen, moet je weten waar het succes of het falen aan gelegen heeft. En daarvoor is inzicht nodig in het verloop van het project en in de externe omstandigheden die daarin hebben meegespeeld. Een goed doordacht monitoringsysteem, dat op gezette tijden informatie oplevert over zowel interne als externe factoren, kan dit inzicht bieden en zo bijdragen aan een betere eindevaluatie. Monitoren moet overigens niet alleen gebeuren wanneer volgens de planning mijlpalen bereikt zouden moeten zijn, maar ook als externe omstandigheden zich fundamenteel anders ontwikkelen dan verwacht.

Door te pleiten voor minder impactevaluaties slaat Kroese echter de plank mis. Evalueren doe je niet alleen maar om tussentijds bij te kunnen sturen en te leren, maar ook om te weten of je überhaupt wel op de plaats van bestemming aankomt. Ik pleit dus voor méer impactevaluaties. En als je evalueert, doe het dan goed. Slecht opgezette evaluaties leveren alleen maar meer misinformatie. Het is een te groot risico om die vervolgens te gebruiken bij het ontwerp van nieuwe interventies. Dat is alsof je je TomTom update met foutieve GPS-data.

Monitoren en impactmetingen zouden core business moeten zijn van OS. Want zonder goede informatie over wat werkt onder welke omstandigheden kunnen we niet verbeteren. Het is niets meer dan de aloude cyclus van Plan-Do-Check-Act, zonder welke geen effectieve bedrijfsvoering mogelijk is. Een goede evaluatie mag daarom ook wat kosten (al zijn er nog diverse verbetermogelijkheden die de evaluatie niet per se duurder maken). Als geld het probleem is, laten we dan eerst onderzoeken of er nauwer kan worden samengewerkt tussen goede doelen, de overheid en de wetenschap, in plaats van het allemaal maar een beetje minder te doen. Een gemeenschappelijke strategische onderzoeksagenda, die zich richt op de meest prangende vraagstukken en een goede strategie bevat voor kennisdeling, zou een mooi begin zijn.

Sharon van Ede is consultant bij APE Economisch Onderzoek & Advies.


[1]        Bestuurlijke reactie op het rapport van de Algemene Rekenkamer ‘Monitoring beleid voor ontwikkelingssamenwerking 2012’ d.d. 29 oktober 2013.

Auteur
Sharon van Ede

Datum:
05 mei 2014
Categorieën: