Vanuit het medefinancieringsstelsel (MFS) worden hoge eisen gesteld aan evaluaties en impactmetingen. Ook bedrijven die investeren in OS willen harde cijfers en resultaten zien, wordt vaak gedacht. Tijdens de bijeenkomst van Woord & Daad over dit thema bleek dat bedrijven echter naast harde cijfers ook belang hechten aan kwalitatieve data.

Dinsdagmorgen ging stichting Woord & Daad in gesprek met haar businesspartners en vermogensfondsen over de impact en impactmeting van ontwikkelingsprojecten. Stichting Woord & Daad is een organisatie die vanuit Bijbels perspectief werkt aan armoedebestrijding. De stichting is voor haar budget voor dertig procent afhankelijk van de overheid (MFS2), de rest komt van particulieren.

Geen beleidsplan

Dicky Nieuwenhuis vormt samen met Jan Lock de directie van stichting Woord & Daad. In haar inleiding blikt zij terug op de manier van werken en kijken naar armoedebestrijding toen de organisatie in 1973 begon. Van strategisch denken was in de eerste decennia geen sprake. Het vrijwilligersinitiatief om de armen in het Zuiden te helpen werkte vanuit vertrouwen dat projecten de juiste impact hadden. Nieuwenhuis: ‘We hadden geen beleidsplan en werkten ‘ad hoc’.

Langzamerhand kwam de nadruk van hulp meer op ontwikkeling te liggen en werd strategisch denken belangrijker. In 2000 kreeg de organisatie dan ook haar eerste beleidsplan, in 2002 vroeg het medefinanciering van de overheid aan. Het voorstel dat zij indienden besloeg toen zo’n 30 pagina’s. ‘Nu telt het voorstel zonder bijlagen 150 pagina’s.’, vertelt Nieuwenhuis. De regeldruk naar maatschappelijke organisaties wordt groter. Overheden en bedrijven willen van organisaties steeds meer zien van wát ze nu eigenlijk doen. ‘De balans slaat door naar de andere kant’, aldus Nieuwenhuis.

De onderzoeksmethode van econometristen

Tijdens de bijeenkomst gaf Prof. Dr. Dinand Webbink een lezing over impactmeting vanuit de econometrie. Webbink is sinds februari verbonden aan het Erasmus Centre for Strategic Philanthropy en dekt hierbinnen de onderwerpen gezondheid, onderwijs en filantropie. Dit laatste was voor hem een nieuw onderwerp.

 Webbink vindt dat de ontwikkelingssector wat betreft impactmeting hele ambitieuze en complexe vragen stelt. Hijzelf zegt dat impactmeting eenvoudig is. ‘Het gaat om het oorzakelijk effect van een project’. Hierbij is de vraag ‘Wat als het project niet had plaats gevonden’ cruciaal om te weten of verandering wordt veroorzaakt door het project’, zegt Webbink. Hij legt de principes uit van experimenteel en quasi-experimenteel onderzoek. Om de impact van een bepaald project te meten wordt binnen dit type onderzoek gewerkt met voor en na metingen en met controlegroepen; een vergelijkbare groep die de verandering niet ondergaat. Door de verschillen tussen voor en na en tussen de twee groepen te meten kan de impact worden gevonden.

 De praktijk van het evalueren van ontwikkelingsprojecten

 Dat in de wereld van de ontwikkelingssamenwerking niet zo eenvoudig wordt gekeken naar impactmeting maakt Wouter Rijneveld duidelijk, evaluatiespecialist bij stichting Woord & Daad. Hij geeft aan dat NGO’s vaak geïnteresseerd zijn in de (zeer moeilijk meetbare) lange termijn effecten van ontwikkelingssamenwerking. ‘Maar’ zegt Rijneveld; ‘De methode van econometristen zoals Webbink wint aan terrein. Deze methode is zelfs verplicht gesteld vanuit MFS2’.

 Bij Woord & Daad wordt gewerkt met quasi-experimenteel onderzoek, maar ook met kwalitatief onderzoek door middel van gesprekken met mensen. Deze laatste methode is geschikt om ook de gezamenlijke effecten van verschillende projecten te meten op een terrein als maatschappijopbouw, geeft Rijneveld aan. Hij vindt dat er open moet worden gekeken naar de methoden die Webbink noemt, maar voorziet problemen als dit de enige manier zou zijn. Zo is het vinden van een controlegroep bij ontwikkelingsprojecten niet gemakkelijk, omdat dit een groep zou moeten zijn die, ondanks vergelijkbare omstandigheden, niet mee mocht doen aan het project. ‘Dan kom je aanzetten met een onderzoek als troostprijs’. Daarnaast bestaat het gevaar dat de nadruk gaat liggen op makkelijk meetbare projecten. Rijneveld is bang dat aandacht voor innovatieve projecten op het gebied van maatschappijopbouw, conflictbemiddeling en advocacy door moeilijke meetbaarheid zal verminderen als alle aandacht gaat naar harde cijfers.

 Openheid over mislukte projecten

Hoogleraar Webbink is kritisch naar het onderzoeken van percepties door middel van gesprekken. Hij is hierbinnen bang voor subjectiviteit en andere storende effecten, maar geeft toe dat hij nu eenmaal uit een vakgebied komt waarbij de nadruk ligt op kwantitatieve data. In de discussie nemen de aanwezige heren uit het bedrijfsleven het op voor het kwalitatieve onderzoek. In een vooraf uitgedeelde enquête waarin werd gevraagd of bij impact van ontwikkelingsprojecten ‘harde cijfers’ of ‘percepties van mensen’ belangrijk zijn hebben zij stuk voor stuk  de ‘percepties van mensen’ ingevuld.

 Door het onderzoeken van projecten komen ook de mislukkingen naar voren. Hierop hebben de businesspartners van stichting Woord & Daad een nuchtere kijk. Een van hen zei: ‘Wij hebben binnen ons werk ervaring met vele activiteiten waarvan een deel mislukt, dat hoort er bij. Als er van de tien projecten één mislukt, so what?!’ Leren van mislukte projecten en nadenken over verbeteringen vinden zij noodzakelijk.

Ellen Wilbrink van de Turing foundation geeft aan dat de uitgebreide evaluaties van Woord & Daad haar vertrouwen geven. Ze vindt openheid over mislukte projecten belangrijk: ‘Transparantie, ook over de mislukkingen, geeft voor ons als fonds juist vertrouwen in een organisatie’. Hoewel er dus nog gediscussieerd wordt over de onderzoeksmethoden is men het erover eens dat openheid moet worden gegeven over de uitkomsten.