Afgelopen week verschenen er twee kritische artikelen op deze site over het IOB-rapport ‘Investeren in Mondiaal Burgerschap’, naar de activiteiten van de NCDO. Vandaag gaat Ted Kliest, de eindverantwoordelijke IOB-inspecteur van de evaluatie, uitgebreid in op de kritiek.

In twee recent op Vice Versa online verschenen artikelen (‘Lof voor NCDO, maar kritiek op evaluatie zelf’ en ‘NCDO evaluatie: gemiste kans’) over het IOB-rapport ‘Investeren in Mondiaal Burgerschap: Evaluatie van de Nationale Commissie voor Internationale Samenwerking en Duurzame Ontwikkeling (NCDO)’ worden in grote lijnen de inhoudelijke uitkomsten van de evaluatie weergegeven. Verschillende actoren uit ‘de sector’ komen aan het woord over NCDO en over de aanpak die IOB heeft gevolgd bij het inrichten en uitvoeren van de evaluatie.De reacties vragen om een inhoudelijk commentaar.

Er is kennelijk sprake van verwarring tussen enerzijds het eerder uitgevoerde IOB-draagvlakonderzoek dat specifiek was gericht op OS en anderzijds de huidige IOB-evaluatie die zich richt op de wijze waarop het huidige NCDO zich heeft ingezet voor het bevorderen van kennis en inzicht ten aanzien van mondiaal burgerschap in Nederland. Dit is de taak die NCDO vanaf 2011 als mandaat heeft en op basis waarvan de overheidssubsidie is verleend.

Zoals terecht wordt opgemerkt door Fons van der Velden gaat het hier niet om een beleidsdoorlichting, maar om een subsidie-evaluatie. Deze opzet is expliciet aangegeven in de Terms of Reference en is conform het besluit van de minister van Buitenlandse Zaken tot vaststelling van een plafond en subsidieregels voor subsidieverlening aan NCDO. Over de reikwijdte van de evaluatie alsmede de doelstelling daarvan kan geen misverstand bestaan.Dat laat onverlet dat de door Van der Velden gestelde vragen interessant en relevant zijn, maar zij hoeven naar de mening van IOB ook niet uit het zicht te verdwijnen. Zij kunnen heel wel naar aanleiding van het onderzoek onderwerp van discussie zijn en de bovengenoemde artikelen zijn een goede aanzet.

De transitie van NCDO tot kennis- en adviescentrum

Dan het onderzoek zelf. Gezien de tijd die is verlopen tussen de evaluatie (vierde kwartaal van 2013) en de heroriëntering van NCDO startend in 2011 kan volgens IOB inderdaad gesproken worden van een lovenswaardige en relatief snel verlopende transformatie van het ‘oude’ NCDO naar ‘NCDO nieuwe stijl’. Daarbij wordt tevens aangetekend, dat een en ander niet altijd op rolletjes liep. Belangrijke stimulerende en remmende omstandigheden en factoren worden daarbij aangestipt.

De gesprekspartner van Partin vraagt zich af wat de achterban gehad heeft aan de kennisverstrekking door NCDO nieuwe stijl. Hij stelt daarbij dat er in het IOB-rapport weinig gerept wordt over de wetenschapstaak van NCDO. Tevens geeft hij aan dat hij ‘via de tamtam heeft gehoord’ dat er binnen het Particuliere Initiatief (PI) niet veel gebruik is gemaakt van de kennis die NCDO heeft vergaard en uitgedragen. Hij stelt zich daarbij echter niet de vraag of dit primair aan de door NCDO vergaarde en uitgedragen kennis (gericht op Mondiaal Burgerschap en op bredere dan louter OS betreffende mondiale problemen) ligt, dan wel aan de behoefte van de PI-achterban.

De benutting en uitwisseling van kennis die NCDO oplevert, geldt voor een doelgroep die breder is dan het Particulier Initiatief. Het Particulier Initiatief is veeleer in enge zin gericht op de OS-sector. Een en ander wordt aangegeven in hoofdstuk 7 van het IOB-rapport (sectie 7.3 My World en de My World Community). Hier wordt stilgestaan bij de pro’s en contra’s van de wijze waarop de My World Community, georganiseerd door NCDO en de daarbij betrokken partnerorganisaties, functioneert.

In hoofdstuk 5 wordt overigens uitvoerig stilgestaan bij de onderzoeken die NCDO verricht, waarbij de opzet, kwaliteit en het gebruik ervan tegen het licht worden gehouden. Daarbij wordt een aantal kritische noten gekraakt over de aard van de kennis, de doelgroepen die NCDO met deze kennis wenst te bereiken en de wijze waarop NCDO tot dusver het uitdragen van de kennis heeft georganiseerd.

De aanpak en uitvoering van de evaluatie en de onderbouwing van de bevindingen

Stefan Verwer van Lokaalmondiaal (de organisatie die tevens het primair op de OS-sector gerichte blad Vice Versa uitgeeft) stelt dat de NCDO- evaluatie niet zou voldoen aan hetgeen IOB destijds heeft gepropageerd (in het in 2009 gepubliceerde IOB-draagvlak onderzoek) ten aanzien van de mogelijkheden en onmogelijkheden om na te gaan of en in hoeverre sprake is van vergroting van kennis, verandering in houding ten aanzien van mondiale aangelegenheden en gedragsverandering dienaangaande. Voorts wordt gesteld dat de IOB-evaluatie alleen een ‘oude output-meting’ betreft en worden vraagtekens geplaatst bij de aard van de respondenten die IOB bij dit onderzoek heeft geconsulteerd.

Allereerst:´draagvlakversterking´ is een taak die ‘NCDO nieuwe stijl’ uitdrukkelijk niet meer dient te vervullen (zie het NCDO-mandaat evenals de verhandeling daarover in de IOB-rapportage).De NCDO diende onder de subsidieregeling 2011-2014 haar beleid en activiteiten om te vormen van het bevorderen van draagvlak voor ontwikkelingssamenwerking (OS) naar interventies gericht op het bevorderen van mondiaal burgerschap. Het evalueren van dergelijke activiteiten vereist methoden die gelijk zijn aan evaluatie van draagvlakinterventies. De evaluatie hanteert inhoudelijke invalshoeken en praktische inzichten voor het onderzoeken van draagvlakinterventies. Hierbij verwijst de huidige evaluatie naarde in 2009 verrichte IOB-evaluatie Draagvlakonderzoek: Evalueerbaarheid en resultaten.

Het rapport van dat onderzoek geeft aan dat het draagvlakbegrip bestaat uit drie belangrijke elementen: kennis, houding en gedrag.Hoewel deze elementen met elkaar verbonden zijn, bestaat er niet noodzakelijkerwijs een causaal verband tussen de elementen.Overigens wordt deze redenering ook gevolgd in de visie van NCDO over de wijze waarop het daadwerkelijke gedrag van een‘mondiaal burger’ tot stand komt.

Minder eenvoudig te meten

Zoals IOB constateert in het huidige rapport én in de rapportage van 2009 levert de toetsing, het aantonen van kennis, houding en gedrag, aanzienlijke problemen op. Het ‘kennis’-element van draagvlak en mondiaal burgerschap is op relatief betrouwbare wijze te toetsen via bijvoorbeeld vragenlijsten. Daarentegen zijn de ‘houding’ en vooral‘gedragselementen’ veel minder eenvoudig te meten. Naar houding kan gevraagd worden via enquêtes, maar de oncontroleerbaarheid van de antwoorden – waar de respondent zich ook van bewust is – leidt tot relatief ‘zachte’ informatie.

Verandering van gedrag is vaak het uiteindelijke doel en daarmee de meest belangrijke component van draagvlakinterventies en activiteiten gericht op mondiaal burgerschap. Verandering in gedrag vergt inspanning (er moet door de betreffende persoon iets voor worden gepresteerd of gelaten). De facto handelen, kan in beperkte mate door enquêtes worden bepaald, omdat deze alleen de percepties of intenties van respondenten meten via zelfrapportage. Uiteraard kunnen percepties en intenties in de praktijk fors afwijken van daadwerkelijk gedrag.Kortom, registreerbare vormen van relevant gedrag moeten observeerbaar zijn en op objectieve wijze kunnen worden vastgelegd. Dit is het grootste probleem. Daarnaast bestaat er bij het meten van effecten het zogeheten attributieprobleem. Als de effecten op het gebied van kennis, houding of gedrag al te bepalen zijn, dan is het zeer lastig zo niet onmogelijk om de resultaten toe te schrijven aan een specifieke stimulus (het op de doelgroep gerichte programma of project). Het attributieprobleem neemt toe naarmate de doelgroep van een interventie omvangrijker en ongedifferentieerd is.Ook kan het bij dergelijke interventies voorkomen dat de oorzaak-gevolg relatie in werkelijkheid omgekeerd is. Het is mogelijk dat juist mensen die al betrokken zijn of betrokkenheid voelen bij een bepaald onderwerp deel zullen nemen of open staan voor een bepaalde interventie en niet andersom (selectiebias). NB. Het huidige IOB-rapport maakt uitdrukkelijk gewag van deze mogelijk opgetreden selectiebias (hoofdbevinding 7).

Onoverkomelijke attributieproblemen

Een en ander impliceerde dat de evaluatie werd geconfronteerd met onoverkomelijke attributie-problemen om gerapporteerde, mogelijk opgetreden, gedragsveranderingen objectief vast te stellen en deze ook nog te herleiden tot de werkzaamheden van NCDO. Dit gold in mindere mate bij het bepalen van de bijdrage van NCDO bij de bevordering van mondiaal burgerschap onder nauw omschreven doelgroepen, waarbij redelijkerwijs verwacht kon worden dat de beoogde doelgroep is bereikt.

Rekening houdend met bovengenoemde beperkingen heeft de evaluatie bij het in kaart brengen van outputs en de outcomes van NCDO’s activiteiten maximaal gebruik gemaakt van de resultaten van door en voor NCDO verrichte onderzoeken en (opinie)onderzoek door derden. Het rapport verwijst uitdrukkelijk naar deze onderzoeken (zie de tabellen en de voetnoten) en bevat een literatuurlijst met gebruikte bronnen.Vanwege het genoemde probleem om mogelijk opgetreden gedragsveranderingen bij de Nederlandse bevolking of delen daarvan te herleiden tot de werkzaamheden van NCDO, is niet getracht de impact van NCDO’s inspanningen (het daadwerkelijke gedrag van ‘de Nederlander’) op nationale schaal te bepalen.[1]

Dat betekent echter niet dat de IOB-evaluatie zich beperkt tot outputs. IOB isinderdaad nagegaan of NCDO de voorgenomen activiteiten heeft ondernomen. Echter, de evaluatie stopt daarmee niet. Er wordt uitdrukkelijk verwezen naar het doelbereik op outcome-niveau. Zie hoofdbevinding 5 die is gebaseerd op de bevindingen in de diverse thematische hoofdstukken.

Tot slot de opmerking over de respondenten die het IOB-evaluatieteam heeft geconsulteerd. IOB heeft een groot aantal interviews ondernomen met zowel medewerkers van NCDO en leden van de Raad van Toezicht, alsmet partnerorganisaties en‘conculega’ van de organisatie, waaronder Lokaalmondiaal en Partin. De informatie die uit deze gesprekken werd verkregen is vervolgens conform goed evaluatiegebruik getrianguleerd met informatie uit schriftelijke bronnen. De typering ‘alsof de slager zijn eigen vlees keurt’ is derhalve niet van toepassing op het IOB-onderzoek.