Het meten, verantwoorden en leren van programma’s met betrekking tot mondiaal burgerschap werd donderdag 11 november onder de loep genomen. Context, NCDO en CIDIN organiseerden gezamenlijk de Context Masterclass ‘Verantwoorden en leren’. Hoe betrek je beiden in planning, monitoren en evaluatie (PME)?

Dat het evalueren van mondiaal burgerschap, voorheen aangeduid als ‘draagvlak’ complex is, daar werd op de dag niet omheen gedraaid. Fons van der Velden, directeur van Context, benadrukte dan ook direct de complexiteit met betrekking tot de programma’s. Het uiteenzetten hiervan gebeurde door het gebruik van het Cynefin Framework. Projectprogramma’s worden hierin uiteengezet van simpel naar chaotisch. Daartussen liggen de gecompliceerde en complexe programma’s.

Een simpel wereldburgerschapprogramma zou bijvoorbeeld kennisoverdracht in de vorm van een foto, een documentaire of een bijeenkomst kunnen zijn. Een oorzaak met een klaarblijkelijk doel ter gevolg; dat er iets gehoord of gezien is. Gecompliceerder is een multimedia lespakket dat op basis van voorgaande jaren een bepaald effect beoogt. Rekening houden met externe invloeden maakt programma’s complexer. Het motiveren van mensen om Max Havelaar koffie te kopen en daarmee rekening houden met bijvoorbeeld bonuskortingen is om die reden een complex programma. Voorbeelden van programma’s die onder chaotisch vallen zijn de Landmijnencampagne of Stop Kinderarbeid. Het verloop van oorzaak naar gevolg en dus het resultaat is hierbij veel onzekerder. Wanneer je mensen in Nederland betrekt bij de campagne is het erg moeilijk vast te stellen dat deze betrokkenheid gevolgen heeft gehad voor bijvoorbeeld het verminderen van kinderarbeid.

Meetbaarheid

Hoe complex een programma is zal invloed hebben op de uitkomsten en de meetbaarheid hiervan. Het meten van mondiaal burgerschap staat volgens onderzoek van Dick van der Hoek (IOB) nog in de kinderschoenen. Een onderzoek van het IOB naar wereldburgerschap is dan ook door het gebrek aan goede evaluaties binnen organisaties, omgevormd naar het uiteindelijke onderzoek naar de evalueerbaarheid van draagvlak.

Tijdens de Clinic ‘kwaliteitsslag en evaluatiepraktijk’ werd door Van der Hoek de essentie van het goed formuleren van de ‘interventielogica’ benadrukt. Volgens hem moet al tijdens de planningsfase vast gestel worden wat de indicatoren voor het meten van input, output, outcome en impact zullen zijn. Input wordt daarbij gezien als de investeringen zoals tijd, kennis en geld. Deze hebben een directe prestatie, de output, ter gevolge. Zo worden er bijvoorbeeld persberichten verspreid of seminars georganiseerd. De output zijn de concrete handelingen  waarbij nog niet wordt gekeken naar de effecten hiervan. Outcome, het meest belangrijke, gaat wél om het meten van het effect wat het programma beoogd had. In het geval van wereldburgerschap kan dit gaan om het beantwoorden van vragen als: Zijn er daadwerkelijk meer donaties gedaan? Zijn er meer vrijwilligers beschikbaar? Of, is er verandering in consumptiegedrag? De door Fons van der Velden tot te ambitieus benoemde impact dient de grotere doelen. Dick van der Hoek omschreef deze in zijn onderzoekspresentatie, met betrekking tot wereldburgerschap, als een bepaald politiek beleid ter gevolg of het hebben van een groter draagvlak voor internationale samenwerking.

Tussen deze concrete en abstracte uitkomsten benadrukt Fons van der Velden een extra niveau van uitkomsten tussen outcome en impact. Hierbij gaat het om de invloed die het programma heeft gehad, maar waarvan niet direct kan worden vastgesteld dat de impact door het programma an sich is veroorzaakt. Meerdere programma’s beogen namelijk gelijke doelen en zo zullen meerderen invloed hebben op bijvoorbeeld gedragsveranderingen.

Multiple reality

Voor het opstellen van een goede interventielogica moeten indicatoren al in de planningsfase worden geformuleerd. Volgens Dick van der Broek is dit zelfs is essentieel voor goede PME. De, door het IOB, gebruikte indicatoren waren daarbij gericht op het meten van gedragsveranderingen naar aanleiding van een wereldburgerschapprogramma. ‘Kennis en houding zijn door het gebrek aan meetbaarheid buiten beschouwing gelaten’, aldus Dick van der Hoek.

In tegenstelling tot deze aanpak ziet Van der Velden gevaar in een dergelijke focus, zo benadrukte hij al tijdens de introductie. ‘Een te sterke focus van een programma kan grote gevolgen hebben. Dit hebben we kunnen zien bij de Bill & Melinda Gates Foundation. Door de sterke focus op het bestrijden van polio werd er te veel kennis, energie en ervaring vanuit de gezondheidszorg naar dit punt weggezogen. Door het gebrek aan aandacht voor de algemene gezondheidszorg kwam er juist een polio uitbraak als gevolg. De sterke focus kan er dus voor zorgen dat het tegenovergestelde bereikt wordt. Voor het meten van de resultaten van programma’s moet er dus ook niet alleen worden gefocust op één uitkomst. Methodologische compensatie moet er zijn voor de indicatoren die uniform zijn. Er moet worden gekeken naar wat de bijkomstige effecten van een programma zijn. Er moet ruimte zin voor multiple realities, de verscheidenheid aan bevindingen, en subjectiviteit in de evaluaties. Kortom, vraag binnen planning, monitoren en evalueren is: Wiens perspectief nemen we als het uitgangspunt? Who’s reality counts?’