‘Vanaf het moment dat je een goed idee heb voor een ontwikkelingsproject hebt moet je meteen gaan bedenken hoe je dat wil laten evalueren. Want als je het niet kunt evalueren, waarom ga je het dan doen? Dan kun je dus er nooit achter komen of het gaat werken.’ Het proefschrift van Kellie Liket over de noodzaak en het gebrek aan  impactmetingen in de goede doelensector deed heel wat stof deed opwaaien. Vice Versa sprak met haar. ‘Als we aan de standaarden van Ruerd Ruben willen voldoen, zijn we in geen enkele groep van organisaties nog heel erg ver.’

Op de zonnige vrijdagmiddag van Liket’s promotie was de sfeer in de Senaatszaal ontspannen. In heldere bewoordingen pareerde Liket vakkundig de vragen van de promotiecommissie, waarin onder andere voormalig premier Jan Peter Balkenende en IOB-directeur Ruerd Ruben plaatsnamen. Liket is degene die ondervraagd wordt, toch lijkt ze de controle zelf in handen te hebben. Het feit dat ze tijdens haar promotieonderzoek van iets meer dan drie jaar ook nog de tijd vond om drie kinderen op de wereld te zetten is wat dat betreft veelzeggend.

Vorige week sprak ik met haar af in een cafétje in Amsterdam, binnen de reikwijdte van de babyfoon. Overtuigd van haar punt ging ze in op de tegenargumenten die ik op tafel legde, en tussendoor leverde ze ook nog even stevige kritiek op de aanpak van minister Ploumen.

Waarom koos je dit onderwerp voor je PhD-onderzoek?

‘Ik ben van kleins af aan al bezig met ongelijkheid in de wereld. Toentertijd was het nog niet zo hip dat bedrijven zich daar ook druk over maakten en werd het al snel overheid of goede doelen organisaties. Aan de London School of Economics doceerde een vrouw die de filosofie van Esther Duflo aanhing. Volgens haar is “Helpt hulp wel of niet?”, niet de juiste vraag, maar moeten we onderzoeken of specifieke programma’s wel of niet werken. Daar leerde ik dus over impactevaluaties en randomized controlled trials, wat ik meenam toen ik mijn PhD ging doen.’

Nu heeft ze haar vier jaar onderzoek afgerond en wil ze op basis van haar bevindingen een duidelijke boodschap de wereld insturen om maatschappelijke organisaties effectiever te maken.

Hoe meet je impact?

‘Uiteindelijk draait het om het realiseren van duurzame verandering. Impact meet je door vier vragen te beantwoorden. De eerste is: zijn de impacteffecten die ik dacht dat er zouden zijn er ook daadwerkelijk? Dus, zitten de kinderen in de klas en leren ze daar ook iets? Je stopt dus niet bij het tellen van de scholen, maar je kijkt of er wel wat wordt geleerd. Gaan de testscores omhoog? En krijgen de kinderen na afloop een baan? De tweede vraag is: wat zijn de negatieve effecten van je ingrijpen?

De derde is de attributievraag. Komt de verandering die we waarnemen wel door ons ingrijpen? Om daar achter te komen moet je dus weten of zaken ook veranderd zouden zijn als je niks gedaan had.De laatste en vierde vraag gaat over additionaliteit. Als jouw interventie verandering teweegbrengt, betekent dit nog steeds niet dat jij de beste partij bent geweest om dit specifieke project te ondernemen. Als jij het niet gedaan had, was er dan een commerciële partij of overheidsinstantie geweest die het was gaan doen?’

Zijn Rondomized Controlled Trials (RCT’s) dan de enige methode om die derde vraag te beantwoorden? Veel mensen uiten kritiek op de dure en rigide werkwijze met controlegroepen.

‘We moeten niet vanuit de methode starten met impact meten, maar vanuit impact denken. Het evaluatieraamwerk uit mijn proefschrift begint met de vraag: wat is het doel van de evaluatie? Vervolgens gaan we pas naar de geschikte methodologie kijken die je kan helpen het evaluatiedoel te bereiken. Ik zeg nergens dat impactmeting per se door middel van RCT’s moet gebeuren, de methode is voor mij pas een tweede vraag. Ik ben in mijn boek juist best wel kritisch over deze methode en noem hele lijsten van contextfactoren waardoor je soms helemaal geen RCT’s kan doen.’

Dat betekent niet dat ze die methode zomaar afschrijft. ‘Als je wilt weten of iets door jou komt, wil je weten wat er gebeurt was als je er niet was geweest.Daarvoor moet je je evaluatie op een bepaalde manier ontwerpen, en in mijn ogen geeft de RCT de cleanste studie. Er zitten echter gradaties in; soms kan het niet, soms is het te duur, soms is het niet ethisch. Als je evalueert lijkt het me dat je dat met de beste methode wilt doen, maar als dat niet mogelijk is moet je een stapje terug doen.’

Waarom het zo belangrijk is om goed te evalueren wordt snel duidelijk. ‘Hoe meer en beter we maatschappelijke projecten onderzoeken, hoe meer we erachter komen dat allerlei projecten niet werken. Over het algemeen lijkt te gelden; hoe meer gedegen het onderzoek, hoe minder effect we vinden.’

Is deze manier van meten niet bijna onmogelijk wanneer je de impact van grote sociale projecten bijvoorbeeld rondom empowerment wil weten?

‘Empowerment kun je zeker meten, want dat is iets wat iemand moet ervaren, dus dat kun je gewoon vragen. Met een paar simpele vragen kunnen we bijvoorbeeld ook grip krijgen op iemand’s geluk, doordat we getest hebben of MRI-scans overeenkomen met de antwoorden die mensen geven. We kunnen het op die manier objectief maken, of iemand naar zijn ervaring vragen. Dat kwalitatieve dingen niet te meten zijn, daar ben ik het niet mee eens. Bijna alles is te meten, en anders kunnen we iets ontwikkelen om het te meten,’ legt Liket uit.

Toch geeft ze toe dat het niet altijd zo gemakkelijk is: ‘Wel is het zo dat sommige effecten pas over heel lange tijd optreden of dat er geen alternatief is dat als controlegroep kan dienen. Dat gebeurt vooral bij lobby projecten; het is natuurlijk heel moeilijk om te zeggen dat het strengere overheidsbeleid voor het roken in publieke gelegenheden door jouw project komt als allerlei partijen al 50 jaar bezig zijn met antirookcampagnes. In omringende landen is er in die periode ook van alles gebeurd, dus kan je lastig vergelijken. Er zijn een aantal systeemveranderingen die heel moeilijk te meten zijn.’

Volgens Liket zal dit voor maar weinig problemen zorgen. ‘De meeste organisaties zijn echter ook veel bezig met concrete projecten, en bieden een product of een dienst aan. Zelfs bij het echte lobby-werk kunnen we evaluatiemethoden verzinnen. Je kan bijvoorbeeld onderzoeken hoe vaak beleidsvormers lobbyisten gezien hebben en of ze daardoor beïnvloed worden. Hoe dachten ze vooraf en hoe dachten ze achteraf? Dat is geen perfecte studie, maar je komt wel dichter in de buurt.’

Liket vervolgt: ‘Dit zijn vooral argumenten waar organisaties zich achter verschuilen. Als ik met ze om tafel zou gaan zitten, zou het ons waarschijnlijk wel lukken om een evalueerbaar ontwerp te maken. Bijna alles is te meten. Organisaties zeggen: wij houden ons bezig met softe kwalitatieve dingen, dat kun je niet in cijfers uitdrukken. Ik meet bijna nooit cijfers, ik gebruik bijna altijd vragenlijsten of andere methoden om kwalitatieve concepten te meten, maar die kan ik wel omzetten in cijfers.’

Organisaties moeten vaak wel compromissen doen om hun projecten evalueerbaar te maken.

‘Wat is het alternatief? Dat je je project runt zoals je dat zelf wil, maar dat je dus geen enkel idee van het effect hebt? Mensen denken dat hun project fantastisch is en willen de evaluatie laten zitten of weigeren concessies te doen. Maar het gemiddelde effect van maatschappelijke projecten is voor zover we weten helemaal niet zo groot. Ik heb heel veel evaluaties gezien, en heel vaak hebben projecten geen enkel effect. Dan mag zo’n evaluatie dus best wat kosten, ook in termen van aanpassing door de organisaties. Misschien zou het goed zijn voor organisaties om van de goed geëvalueerde projecten een lijstje te maken met degenen waarvan ze denken dat die fantastisch veel effect hebben en dan de evaluaties te lezen. Dan zien ze dat de wereld vaak niet zo loopt als we hopen.’

Liket geeft toe dat de voorwaarden om zo’n studie te doen om compromissen ten opzichte van de eigen werkwijze kunnen vragen.‘Een van de grootste problemen is dat je er niet vroeg genoeg in het proces aan begint. Organisaties komen pas naar mij toe wanneer het programma afgerond is of wanneer alles al bepaald is. Dat is lastig, want dan kan ik niet meer meedenken over het inpassen van een controlegroep en moeten er misschien dingen veranderen.’

‘Vanaf het moment dat je een goed idee hebt moet je meteen gaan bedenken hoe je dat wil laten evalueren.Want als je het niet kunt evalueren, waarom ga je het dan doen? Dan kun je dus er nooit achter komen of het gaat werken.’

Sommigen stellen dat je ontwikkelingssamenwerking te simplistisch voorstelt. Bijvoorbeeld je vergelijking tussen medicijnen voor Hiv-geïnfecteerden  tegenover een preventieve voorlichtingsaanpak. De eerste methode redt twee levensjaren voor 1000 dollar, de laatste 950.

‘Ik zeg: voor 3630 euro red je een leven. Dat is juist heel veel geld. Ik vind dat je juist afdoet aan die complexiteit wanneer je stelt: “Doneer vandaag je bloed en dan red je drie levens.” De voorbeelden die ik gebruik zijn op degelijk onderzoek gebaseerd, op basis van evaluaties, waarin je naar de kosten en baten kijkt, die dan in daly’s en qaly’s worden omgezet. Zo kunnen we berekenen hoeveel levensjaren je ongeveer “koopt” met de middelen die in een project gaan.

‘Die HIV-voorbeelden zijn gebaseerd op hele goede studies. Je telt hoeveel mensen je met je mediacampagne bereikt en hoeveel als gevolg daarvan actie ondernemen. Je vergelijkt dan gebieden waar de actie wel en niet is uitgezet. Als je dan gaat doorrekenen weet je hoeveel mensenjaren je gewonnen hebt,’ aldus Liket.

Verwacht je niet dat het bedrijfsleven juist veel verder is met impact meten?

‘Die illusie had ik ook. Uit ons onderzoek bleek dat maatschappelijk verantwoord ondernemen (MVO) nog steeds voor een groot gedeelte nog over corporate filantropie gaat, ook al we willen we graag geloven dat MVO over core business en innovatie gaat.We hebben naar de allerbestebedrijven gekeken uit de Dow Jones Sustainability Index. Daarvan had net zo goed ongeveer de helft geen systeem om impact te meten, en is het nog maar de vraag wat de kwaliteit was van de systemen die wel gebruikt werden. Er wordt vaak hooguit naar output of performance gekeken, als er überhaupt al op die manier wordt nagedacht. “Je doet iets en dat is al heel wat, dan ga je echt niet twijfelen aan je impact”, is de heersende gedachte.’

Liket concludeert: ‘Als we aan de standaarden van Ruerd Ruben, [directeur IOB, red.) willen voldoen, zijn we in geen enkele groep van organisaties nog heel erg ver. Dat zijn wel de standaarden waar we naar toe moeten.’

Hoe kijk je dan naar het Dutch Good Growth Fund (DGGF)? En naar het idee dat handel het nieuwe antwoord is?

‘Het is mijn inziens raar om met het antwoord, met het instrument, te beginnen. Het beleid begint met “het moet via handel”, en dan vervolgens gaan kijken of dat effectief is. Zijn er studies die laten zien dat handel een effectieve weg is om OS gelden in te zetten? Creëert het inderdaad groei, en dan ook nog eens good growth? Het was mooi geweest als Ploumen andersom was gestart en zich eerst had afgevraagd wat op basis van de bestaande kennis de beste manier is om de OS doelen te bereiken.’

‘Het is natuurlijk politiek, het moet via handel omdat we anders geen steun voor ontwikkelingssamenwerking kunnen vinden onder het Nederlandse publiek. Vervolgens moet het met impactinvesting en dan gaan we daarna kijken wat voor een type sociale problemen we met impact investments mogelijk kunnen aanpakken. Ik heb niet het idee dat we op dit gebied heel strategisch bezig zijn.’

‘Voor mij is impact veel meer dan evalueren, het draait om impactdenken. Vooraf moet je bedenken wat je moet gaan doen om zo veel mogelijk positieve impact te bereiken. De keuzes voor je projecten baseer je dus op bewijs van afgeronde impactstudies en die gedachte neem je mee in je besluitvorming. Ik ben niet van alle finesses van het OS-beleid van Ploumen op de hoogte, maar de wetenschappelijke kennis die ik heb lijkt de keuzes van Ploumen niet per se te ondersteunen.’

Tot slot, wat wil je ontwikkelingsorganisaties meegeven?

‘Organisaties moeten begrijpen dat impact meer is dan aan de achterkant meten; dat het een manier van nadenken is. Nu praten we vaak over projecten, het ene project versus het andere, maar waarom heb je überhaupt die ene missie omarmt? Ik hoop dat het impactdebat uiteindelijk verder gaat dan RCT’s ja of nee.’

Het proefschrift van Kellie Liket is beschikbaar via . Meer informatie over Liket haar werk aan de Erasmus Universiteit is te vinden via www.impactmeten.nl.