Negen inhoudelijke en diverse workshops, twee debatten en een gesproken column: het programma van de bijeenkomst ‘Leren van Evalueren’ op 29 september biedt een ruime keuze voor mensen die geïnteresseerd zijn in (impact) evaluaties. Hoe ziet het programma er precies uit?

Wat zijn de trends op het terrein van impactevaluaties? Welke nieuwe inzichten zijn opgedaan en wat is de invloed van recente maatschappelijke en wetenschappelijke ontwikkelingen op impactevaluaties?

Het zijn vragen die op vrijdag 29 september aan de orde komen tijdens de bijeenkomst ‘Leren van Evalueren -stellen we de juiste vragen bij impactevaluaties?’ De bijeenkomst is een initiatief van Vice Versa in samenwerking met IOB, Wageningen University and Research en NWO WOTRO Science for Global Development.

Het programma, onder dagvoorzitterschap van Ruerd Ruben, ziet er als volgt uit.

10.00    Binnenkomst: registratie en koffie

10.30    Opening door dagvoorzitter Ruerd Ruben.

10.35    Keynote door professor Frans Leeuw, directeur van het Wetenschappelijk   Onderzoek-   en      Documentatiecentrum (WODC), over de laatste trends en  ontwikkelingen binnen de evaluatiewereld.

11.05    Talkshow: het Evaluatie Jaaroverzicht. Met onder andere Wendy Asbeek Brusse (IOB), Lindy van Vliet (KIT) en Fons van der Velden (Context, international cooperation). Wat waren de belangrijkste en meest in het oog springende evaluaties van het afgelopen jaar? Wat hebben politieke en maatschappelijke trends voor invloed gehad op evalueren? Welke belangrijke evaluaties hebben we ten onrechte gemist? Wat is je belangrijkste inzicht uit een evaluatie geweest?

11.50    Koffie en thee

12.00    Workshops (zie onder aan dit artikel een uitgebreide beschrijving van iedere  workshop)

1.  Het meten van de impact van IMVO beleid.
2.  Het ondergeschoven kindje van impactevaluaties: ongeplande effecten.
3.  Het gebruiken van “theories of change” voor het ontwikkelen van impactevaluaties.
4.  De impact van partnerschappen: hoe meet je of 1 + 1 echt 3 is?
5.  Het evalueren van private sectorontwikkeling.

13.15     Lunch

14.00    Gesproken column Ellen Mangnus (journaliste en onderzoeker Universiteit Utrecht). Effectief altruïsme: mogen we meten met mensenlevens?

14.15   Workshops

6.   Maar verandert het gedrag ook? Van het meten van inkomens naar  gedragsexperimenten
7.    Social Impact Management: gedeelde ervaringen.
8.   Evaluaties met een verhaal: gebruik van journalistiek in evaluaties.
9.   Wat is de waarde van kennis?

15.30   Pauze

15.30   Energizer

15.45   Slotdebat over de toekomst van evalueren. Met  Gonne Beekman (WUR), Robert Dijksterhuis (RVO) en Johan van de Gronden (PUM). Hoe zorg je ervoor dat evaluaties de juiste vragen stellen?Aan wat voor evaluaties heeft de samenleving behoefte? Wordt bestaande kennis van eerder uitgevoerde evaluaties wel voldoende benut? Moet je wel beginnen aan een evaluatie waarvan je van tevoren al weet dat impact meten moeilijk is? Wat gebeurt er als de ‘marginalisatie van impactevaluatie’ verder doorzet? Wiens verantwoordelijkheid is het om deze tendens tegen te gaan?

16.30 Borrel

Datum: Vrijdag 29 september

Locatie: Wageningen Economic Research (voorheen LEI), Alexanderveld 5 Den Haag.

Kosten: 30 euro (Vice Versa leden),

45 euro (niet-leden). Inclusief lunch en borrel.

Meld u aan door een mail te sturen aan angelique@viceversaonline.nl en geef daarbij aan of u wel of geen lid van Vice Versa bent. U ontvangt dan een factuur.

Workshops

1. Evaluatie van het Nederlandse IMVO-beleid

Hoe meet je de impact van IMVO-beleid? Deze vraag staat centraal in een workshop georganiseerd door de inspectiedienst IOB van het ministerie van Buitenlandse Zaken. Met IMVO-beleid (gericht op internationaal maatschappelijk verantwoord ondernemen) hoopt de Nederlandse overheid invloed uit te oefenen op het gedrag van bedrijven en zodoende een bijdrage te leveren aan duurzame ontwikkeling en respect voor mensenrechten. Zo zijn er sectorconvenanten getekend en hanteert de overheid bepaalde criteria bij het verstrekken van subsidies. IOB presenteert in deze workshop een eerste opzet voor de evaluatie van het IMVO-beleid in 2018 en nodigt een ieder uit om mee te denken over hoe dit soort evaluaties vorm te geven

2. Het ondergeschoven kindje van impactevaluaties: ongeplande effecten

Een Nederlandse NGO laat in haar evaluatie zien hoe het microkredietprogramma een succes is: er nemen veel vrouwen deel aan het project en de terugbetaalgraad is hoog. Ook lijkt de economische positie van vrouwen versterkt. Echter, de onderzoekers hebben niet meegenomen dat er een sterke toename van huiselijk geweld is richting deze vrouwen.

Een meta-evaluatie van USAID liet zien dat slechts in 13% van haar evaluaties ongeplande effecten onderzocht werden, terwijl dit volgens de evaluatie richtlijnen standaard van de OESO wel zou moeten gebeuren. Bij Norad werd slechts in 40% van de gevallen in de Terms of References van evaluaties gevraagd naar ongeplande effecten. In tweederde van de gevallen werd er dan aandacht aan besteed, maar vaak op een oppervlakkige manier.

Toch is het mogelijk om een systematische en kosteneffectieve manier aandacht te geven aan ongeplande effecten in impactevaluaties. Bijvoorbeeld door aandacht te besteden aan alternatieve theories of change, de drop-outs van programma’s, literatuuronderzoek en een goede combinatie van kwantitatief en kwalitatief impact onderzoek. Indien je je eigen ervaringen wilt delen en je vaardigheden op dit vlak wilt verbeteren, kom dan naar deze workshop georganiseerd door de Radboud Universiteit Nijmegen in samenwerking met Dirk Jan Koch van het ministerie van Buitenlandse Zaken.

3. Het gebruiken van “theories of change” voor het ontwikkelen van impact evaluaties

Onderzoekers hebben het voortdurend over theories of change wanneer ze het over impactevaluaties hebben. Maar wat is dat nu eigenlijk? Waarom is het van belang om een theory of change te gebruiken voor het ontwikkelen van een impactevaluatie methodologie?

Theories of change zijn van belang voor het beantwoorden van onderzoeksvragen die gaan over waarom specifieke ontwikkelingsprogramma’s effectief zijn. Het ontwikkelen van gedetailleerde theories of change kan bijdragen aan het ontwikkelen van contextspecifieke indicatoren. Deze indicatoren geven onderzoekers en beleidsmakers de mogelijkheid om zowel korte termijn als lange termijn effecten van ontwikkelingprogramma’s te meten. Dit draagt bij aan het vergroten van de interne validiteit van impact evaluaties. Daarnaast geven theories of change onderzoekers en beleidsmakers de mogelijkheid om assumpties te definiëren die cruciaal zijn voor de effectiviteit van ontwikkelingsprogramma’s. Het testen van deze assumpties kan bijdragen aan de externe validiteit van impactevaluaties. Hiervoor is het combineren van kwantitatieve en kwalitatieve methoden van groot belang.

Deze sessie gaat in op de vraag hoe theories of change gebruikt kunnen worden voor impactevaluaties. Ten eerste laat deze workshop met verschillende voorbeelden zien hoe impactevaluaties gebruikt kunnen worden voor het ontwikkelen van programma specifieke indicatoren. Daarnaast gaat deze workshop in op het belang van het definiëren en testen van de assumpties die aan theories of change ten grondslag liggen. De workshop eindigt met een groepsopdracht waarbij deelnemers de mogelijkheid krijgen om een theory of change te ontwikkelen en deze te gebruiken voor het ontwikkelen van een impactevaluatie methodologie.

Op deze manier krijgen deelnemers de mogelijkheid om aan onderzoeksvragen te werken die gaan over waarom specifieke ontwikkelingsprogramma’s effectief zijn. Deelnemers worden aangemoedigd om hun eigen theories of change en hiermee verband houdende onderzoeksvragen mee te nemen. Deze theories of change kunnen dan gedurende de groepsopdrachten behandeld kunnen worden. Hiervoor is het van groot belang om het programma zo specifiek mogelijk te definiëren.

De workshop wordt gegeven door Thomas de Hoop, senior onderzoeker bij American Institutes for Research in Washington. Op dit moment is hij de project directeur voor een 3-jarig onderzoeksproject gericht op de effectiviteit van onderwijs innovaties in humanitaire settings in Kenya, Rwanda, Jordanië, Libanon, en Soedan. Daarnaast leidt De Hoop experimentele en quasi-experimentele evaluaties met een focus op technologie en onderwijs in Zambia, voedselzekerheid in Bangladesh, en betaalbare woningen in India.

4. De impact van partnerschappen: hoe meet je of 1 + 1 echt 3 is?

Samen bereik je meer dan alleen, meestal … Maar wat maakt precies het verschil? Hoe kun je de toegevoegde waarde van samenwerking inzichtelijk te maken? Sustainable Development Goal 17 benadrukt het belang van partnerschappen tussen regeringen, het bedrijfsleven en het maatschappelijk middenveld. En ze zijn er volop, partnerschappen die een bijdrage willen leveren aan duurzame ontwikkeling, op lokaal en mondiaal niveau.

Dat zijn vaak samenwerkingen met ambitieuze doelstellingen. Resultaten meten van een project of activiteiten binnen partnerschappen is vrij straight forward. Maar wat als je inzichtelijk wilt maken wat nu precies het partnerschap zelf bijdraagt? Als je wilt weten wat een partnerschap méér (of minder) bereikt ten gevolge van de samenwerking? Om verantwoording af te leggen, maar vooral ook om ervan te leren en te verbeteren?   Op 29 september gaan we graag in gesprek met iedereen die zichzelf deze vragen ook stelt. We mikken op een open gesprek onder leiding van een ervaringsdeskundige gespreksleider, rondom de centrale vraag: hoe kunnen we de impact van partnerschappen meten en inzichtelijk maken?

Deze workshop is een initiatief van Marieke de Wal (Partnerships Resource Centre, Erasmus Universiteit Rotterdam), Jacoline Plomp & Anouk Rutte (Avance Impact) en Wilma Roozenboom (zelfstandig ondernemer).

5. Het evalueren van private sector ontwikkeling

In 2016 heeft een consortium van APE, MDF en Timpoc Consulting het Private Sector Investeringsprogramma (PSI, voormalig PSOM) geëvalueerd. PSI is vijftien jaar lang een belangrijk instrument geweest van het Nederlandse ontwikkelingsbeleid op het gebied van private sector ontwikkeling (PSD). Het is een voorloper van het Dutch Good Growth Fund (DGGF). APE en MDF gaan tijdens deze interactieve sessie in gesprek met het publiek om een antwoord te vinden op een aantal vragen die van belang zijn bij evaluaties van PSD-programma’s.

• Hoe combineer je als onderzoeker kwantitatieve en kwalitatieve methoden om de bijdrage aan 1107 projecten in 59 landen te evalueren?
• Hoe meet je de additionaliteit van private sector subsidieprogramma’s zoals PSI?
• Wanneer is een investering innovatief?
• Hoe kunnen zowel commerciële als ontwikkelingsdoelstellingen geborgd worden?
• Hoe kunnen PSD-programma’s bijdragen aan het behalen van de Duurzame Ontwikkelingsdoelen (SDGs)?

Daarbij spiegelen we de ervaring van het publiek aan de onderzoeksresultaten van de PSI evaluatie. Heb je interesse in PSD-evaluaties? Kom dan naar onze presentatie en discussie.

6. Maar verandert het gedrag ook? Van het meten van inkomens naar gedragsexperimenten

Impactevaluaties van (rurale) ontwikkelingsprojecten richten zich vaak op de uiteindelijk beoogde impact van interventies: gaan boeren meer oogsten, en met hoeveel inkomensverhoging gaat dat gepaard? Echter, steeds weer blijkt dat opbrengsten uit landbouw en inkomen notoir moeilijk te meten zijn. Boeren houden niet precies bij hoeveel ze oogsten en weten vaak niet hoe groot hun land is. En hoe meet je de inkomsten over het afgelopen jaar, wanneer boeren geen kasboek bijhouden? Een bijna onmogelijke opgave! Dit leidt er vaker dan niet toe dat er geen impact te meten valt op deze indicatoren. Daarbij weten we vaak niet of dat komt doordat het project niet effectief is, of doordat de indicatoren simpelweg met te veel ruis gemeten zijn.

Het is nuttiger om na te gaan of een project leidt tot gedragsverandering bij boeren. Wat gebeurt er met tijdsbesteding in huishoudens? Besteden mensen meer tijd aan landbouwactiviteiten of juist niet? En hoe beïnvloedt het project risicopreferenties: zijn projectdeelnemers meer geneigd dan anderen om te investeren in hun land? Wat gebeurt er met vertrouwen met andere dorpelingen en in vreemden, en met samenwerking binnen het huishouden? Allemaal factoren die van belang zijn voor veranderingen in landbouwopbrengsten en inkomens.

Dergelijke ‘sociale preferenties’ kunnen inzichtelijk gemaakt worden aan de hand van eenvoudige gedragsexperimenten, die inzicht geven in de manier waarom mensen dagelijkse beslissingen nemen rondom investeringen en samenwerking, en hoe dit al dan niet verandert door deelname aan een landbouwproject. Aan de hand hiervan kunnen we aannemelijk maken of landbouwopbrengsten en inkomens al dan niet zullen stijgen.

In deze workshop nodigen we deelnemers uit om deel te nemen aan een eenvoudig gedragsexperiment en ervaren we hoe deze tool ingezet kan worden in impactevaluatie. Daarna bespreken we ervaringen uit het veld: welke mogelijkheden zien deelnemers voor het toepassen van gedragsexperimenten en het meten van gedragsverandering aan de hand van vragenlijsten, en hoe kan dit in de praktijk een aanvulling vormen op de ‘klassieke’ impactindicatoren – opbrengst en inkomens?

Facilitator: Gonne Beekman (WECR)

 7. Social Impact Management

‘Sociaal ondernemen’ is de laatste jaren het catch word geworden binnen de Nederlandse sector voor ontwikkelingssamenwerking; steeds meer Niet-Gouvernementele Ontwikkelingsorganisaties (NGOs) hebben de ambitie om als sociaal investeerder of als sociale onderneming te werken. Sociaal ondernemers werken voornamelijk op basis van sociaal kapitaal (van sociale investeringsfondsen en overheden) en dat dient gepaard te gaan met adequate resultaatmeting en verantwoorden.

Er zijn in Nederland verschillende bedrijven die ondersteuning verlenen bij het in kaart brengen van impact van sociale ondernemingen. Daartoe behoren Avance, Context international cooperation en Sinzer. In deze workshop presenteren deze drie ondernemingen in het kort hun benadering van sociale impact meting op basis van een actuele casus van een sociale investeerder of ondernemer in de context van ontwikkelingssamenwerking. Vervolgens worden de belangrijkste lessen die op basis van deze casussen en in de loop der jaren zijn geleerd. .

De workshop wordt verzorg door Anouk Rutte (Avance), Fons van der Velden (Context, international cooperation) en Marlon van Dijk (Sinzer).

8. Evaluaties met een verhaal ­ – Gebruik van journalistiek in evaluaties

Ooit een evaluatierapport gelezen? En? Beviel het? Evaluatierapporten zijn veelal geen pretje om te lezen. Mensen van vlees en bloed kom je er niet in tegen. Ontwikkelingen – successen of mislukkingen – worden meestal zonder context gepresenteerd. Verhalen ontbreken. Met de meeste evaluaties kan je daarom niet naar buiten treden, maar ook de mogelijkheden om van evaluaties te leren zijn beperkt als het verslag, met al z’n geaggregeerde cijfers, nauwelijks laat zien wat er gebeurt in de dagelijkse werkelijkheid.

Dat moet anders kunnen. Een evaluatie(verslag) zou meer gebruik moeten maken van journalistieke instrumenten om verhalen te vertellen: interviews, reportages, portretjes, dagboekfragmenten, cursiefjes. Beschrijf de ‘N=1’ inzichten van mensen op grass roots niveau. Noteer de ervaringen van een lokale stakeholder of de particuliere frustraties van een projectmedewerker. Juist deze ‘zijdelingse informatie’ bevat nogal eens relevante visies, bijvoorbeeld over onbedoelde resultaten. Dat zijn de dingen waar betrokkenen van kunnen leren en dit soort verhalen biedt inzicht in het taaie proces van ontwikkeling.

WiW Global Research & Reporting en Warner Strategy & Fundraising ontwikkelen een methode om, binnen een degelijke evaluatieopzet, gebruik te maken van journalistieke know how.

In onze workshop onderzoeken we de mogelijkheden van ‘journalistiek evalueren’.

• We presenteren onze eigen ervaringen met evaluatierapporten
• Wat is een ‘journalistieke nulmeting’? En ‘journalistieke monitoring’?
• Uitwisseling van ervaringen, mogelijkheden en beperkingen.
• Een ‘live’ interview waarin één van de deelnemers bevraagd wordt over de resultaten die zijn/haar organisaties heeft behaald.

Facilitatoren: Edith van Ewijk, Menno Bosma en Roeland Muskens (WiW Global Research & Reporting)

9. Wat is de waarde van kennis?

Hoe meet je de waarde van kennis? Steeds meer NGO’s werken samen met onderzoeksinstituten om vanuit een evidence-informed approach projecten vorm te geven en een positieve impact van deze projecten te vergroten. Terwijl NGO’s baat hebben bij de robuuste onderzoeksmethodieken van academische instellingen, halen kennisinstituten voordeel uit de boots on the ground kennis en ervaring van de praktijkdeskundigen. Niet alleen worden er externe partijen ingeschakeld voor het versterken van de kennisbasis; steeds vaker krijgt het ‘kennismakelaarschap’ een toegewijde positie binnen organisaties.

Allemaal leuk en aardig, maar hoe bewijs je dat investeren in kennis zin heeft? En zin voor wie? Het vergt namelijk niet alleen de nodige financiële investering, maar vooral ook een aanzienlijke tijdsinvestering – en welke NGO kent nog de luxe van een overschot aan capaciteit? En welke beleidsmaker wordt niet volledig opgeslokt door de urgentie van het dagelijkse politieke bedrijf?

In de Nederlandse OS-wereld wordt kennis enerzijds beschouwd als kostbaar kapitaal. Sinds 2012 zijn er vijf (thematische) kennisplatforms in het leven geroepen die als centrale taak hebben om co-creatie, uitwisseling en opname van kennis te bevorderen. Door NWO-WOTRO zijn binnen het kader van de kennisplatforms meer dan honderd onderzoeksprojecten geselecteerd die alle ten doel hebben om een bijdrage leveren aan het Nederlandse kennissysteem voor duurzame, mondiale ontwikkeling.

Maar de criticasters laten op gezette tijden van zich horen: wat is eigenlijk het nut van wetenschappelijk onderzoek dat bijna steevast achter de opkomende vragen van onze veranderlijke wereld aanloopt? Daarom is het des te belangrijker om te kunnen aantonen waarom het funderen van beleid en praktijk op kennis zin heeft, en hoe de toewijding en investeringen daarvoor op de korte of lange termijn de organisatie helpen in het bereiken van haar doelen.

In deze workshop nodigen we deelnemers uit om te reflecteren op het belang van kennis voor hun organisatie, en hoe de toegevoegde waarde hiervan beter in kaart kan worden gebracht. Op interactieve wijze duiken we in de realiteit en de complexiteit van het ontrafelen (van het meten ) van de meerwaarde van kennis.

Deze workshop wordt aangeboden door NWO-WOTRO Science for Global Development en gefaciliteerd door Daniëlle de Winter en Ellen Lammers.