De wereld van het evalueren is volop in ontwikkeling. De tijd dat je slechts vragenlijsten afnam met je pen en papier is voorbij – tegenwoordig ben je uitgerust met je mobieltje, doe je spelletjes, maak je kaarten van cheetah’s en koeien, of ben je vooral op de achtergrond, en laat je mensen zelf evalueren. We noemen hier zes innovatieve methodes.

 

1. Participatieve statistiek

 

Wie: Jeremy Holland, ontwikkelingsconsultant en Visiting Fellow bij het Institute for Development Studies in Sussex.

Wat? Lokale bewoners verzamelen zelf kwantitatieve data en houden deze data vervolgens ook in hun bezit. Al vanaf de jaren ’90 is er door verschillende onderzoekers ervaring opgedaan met deze methode, in 2013 gebundeld in het boek Who Counts? The Power of participatory Statistiscs door Jeremy Holland en Robert Chambers.

Waarom bijzonder? Meestal verzamelen evaluatoren zelf de data van lokale bewoners en zien de bewoners die data niet meer terug. Of, zoals Holland het formuleert: ‘De data wordt onttrokken aan de bewoners waarna de evaluatoren in een grote stofwolk met hun fourewheele drive verdwijnen.’ Bij participatieve statistiek verzamelen de mensen zelf de data en houden ze ook beschikking over die data. Participatieve evaluaties zijn vaak kwalitatief, maar bij deze methode wordt kwalitatief en kwantitatief onderzoek gecombineerd.

Hoe werkt het? Dorpsbewoners worden getraind in het verzamelen van data via verschillende methodes, zoals het ontwikkelen van eigen surveys, het in kaart brengen van verschillende groepen in de gemeenschap, of het analyseren van trends. Vervolgens analyseren ze die data zelf. Professionele evaluatoren zijn de ‘facilitatoren’ en houden toezicht, maar hebben verder een veel kleinere rol dan bij ‘normale’ evaluaties.

In Malawi bijvoorbeeld werden dorpsbewoners gevraagd een donorprogramma te evalueren waarbij zaden en kunstmest aan voedselonzekere boeren werden uitgedeeld. De gemeenschap identificeerde zelf wie er in hun gemeenschap voedselonzeker was en of dat ook degenen waren die het pakket hadden gekregen. Dat deden ze door de huishoudens in hun gemeenschap en hun niveau van voedselonzekerheid in kaart te brengen, waarna dit gematcht werd met de huishoudens die waren benaderd door het programma. Het bleek dat het programma niet de meest voedselonzekere huishoudens had bereikt. Voordeel van deze methode was onder meer dat alle huishoudens in kaart worden gebracht, in plaats van van een representatieve steekproef uit te gaan.

De criteria voor voedselzekerheid waren in dit geval al vooraf bepaald door de onderzoekers, maar je kunt mensen ook hun eigen indicatoren laten ontwikkelen voor wat begrippen betekenen voor hen. In Mozambique bedachten mensen zelf hun criteria voor armoede, die vervolgens op grotere schaal werden gebruikt.

Participatieve mapping in Ethiopië

Ook moeilijker begrippen zoals ‘empowerment’ zijn participatief te kwantificeren. Zo werd in Bangladesh onderzoek gedaan naar een sociale beweging voor landrechten. Deze beweging slaagde er niet altijd in om land terug te winnen, toch bleven mensen zich aansluiten. ‘Empowerment’ bleek de verklarende factor. Met theaterspel werd aan mensen gevraagd de situatie vòòr en tijdens aansluiting bij de beweging uit te beelden. Vandaaruit werden ruim 130 indicatoren ontwikkeld die de bewoners gebruikten voor eigen datacollectie. Het proces zelf, zo vertelden de bewoners, was al ‘empowering’ omdat de data-analyse hen in staat stelde te reflecteren op de sociale veranderingen in de gemeenschap.

De lokale gemeenschap wordt vaak onderschat, maar is heel goed in staat zich kwantitatieve methodes eigen te maken, merkt Holland. ‘Mensen kunnen tellen, observeren, en op waarde schatten en kunnen dat ook heel accuraat doen, waarna ze de data goed kunnen evalueren en patronen en veranderingen kunnen onderscheiden.’

Voordelen: Het is, zegt Holland, een ‘win-win situatie’: het is een effectieve en efficiënte manier om data te verzamelen en maakt gemeenschappen krachtiger. In plaats van passieve objecten, worden ze zelf de onderzoeker. De gemeenschap kan zelf reflecteren op de verzamelde data. Dit resulteert in meer inzicht in de dynamiek van hun eigen dorp. In India bijvoorbeeld zorgde dit ervoor dat men meer om ging kijken naar de armste bewoners van het dorp, nadat de inkomens in kaart waren gebracht.

Een voorbeeld hoe de zelf ingezamelde data van direct voordeel kan zijn voor de gemeenschap laat de Malediven zien. Voor een Wereldbank programma voor gezondheid en onderwijs verzamelden mensen zelf hun data via tablets. Patiënten, studenten en ouders praatten met het management en zorgpersoneel over de kwaliteit van de zorg. Omdat ze hun eigen data hadden konden ze direct beleidsmedewerkers verantwoordelijk houden. In de Filipijnen deden lokale regeringsbeambtes, ngo’s en de lokale gemeenschap samen mee aan een participatieve studie over de effecten van decentralisering op de gezondheidszorg, en kwamen op die manier samen tot inzichten waar beleid al snel op werd aangepast.

De gegenereerde data bevat vaak belangrijke informatie. In Malawi bleek uit een census studie dat de bevolking 35 % groter was dan volgens de nationale statistieken. De informatie is vaak rijker dan kwantitatieve studies geleid door evaluatoren, alleen al doordat de bewoners zelf de evaluatiegroepen leiden waardoor er veel meer informatie boven tafel komt. In Malawi gingen boeren uitgebreid op de vraag in wat duurzame landbouw voor hen was, en ondanks de doelen van het programma, bleek dit voor hen meer met voedselzekerheid voor hun gezin te maken te hebben dan met ecologische en lange termijn milieuvriendelijke landbouw.

Beperkingen: Het werkt vooral in relatief kleine gemeenschappen waar ‘publieke kennis’ wordt gedeeld, oftewel waar informatie gemeenschappelijk wordt gedeeld in een gemeenschap. Hoeveel mensen voedselonzeker zijn bijvoorbeeld, of wat voor beroep iemand heeft. In grote steden waar mensen meer langs elkaar heen leven werkt de methode niet altijd goed, of het moet binnen kleinere gemeenschappen in een stad worden gedaan, in informele wijken bijvoorbeeld. Holland: ‘Ook zijn voor onderzoeken met veel vragen in de privésfeer die gevoelig liggen in de gemeenschap, zoals seksueel geweld, andere methodes dan groepsmethodes meer geschikt.’

In de wetenschappelijke wereld zijn er twijfels of de methode rigoureus is – is het representatief, objectief en niet te anekdotisch? Het boek beargumenteert dat door statistische methodes te integreren in het participatieve onderzoek, de data betrouwbaar zijn.

 

2. Kinderen nemen de leiding

 

Wie? Laura Hughston, evaluator, momenteel werkzaam bij CARE.

Wat? Evaluaties voor Plan International, geleid door kinderen, in Cambodja, Zimbabwe en Kenia in 2015.

Waarom bijzonder? Kinderen zelf de leiding laten nemen over een evaluatie was nog nooit eerder gebeurd – en is tot nu toe ook niet vaker herhaald. Waar meestal kinderen specifiek naar hun ervaringen worden gevraagd in een programma, waarbij dan meestal ook de meest assertieve en vocale kinderen worden geselecteerd, voeren de kinderen nu zelf de evaluatie geheel zelf uit.

Hoe werkt het? Er werd een diverse groep kinderen geselecteerd, rijke en arme kinderen, met goede en minder goede resultaten op school. De gedachte achter het programma werd uitgelegd, waarna de kinderen zelf formuleerden wat hùn ideale doelen waren van het programma. Vervolgens werden ze getraind in veelal visuele dataverzamelingstools om het toegankelijker en leuker voor de kinderen te maken, bijvoorbeeld een madelief waarbij de grootte van de bladeren het belang van een onderwerp aangaf, of een slak die steeds verder uit z’n slakkenhuisje kroop om het niveau van zelfvertrouwen aan te geven. Voor de interviews bedachten de kinderen zelf de vragen die ze wilden stellen. ‘De vragen die ze bedachten waren echt adembenemend, zo goed’, vertelt Hughston vol enthousiasme. ‘Een van de vragen die de kinderen in Kenia aan de programmamedewerkers vroegen was: “Wat zou je nodig hebben om méér te bereiken?” Wat een heel goede vraag is, want het dwingt je om te denken wat je hebt bereikt, maar ook nog niet hebt bereikt, en te transformeren wat je hebt. Dus onze programmamedewerkers met hun masters en PhD’s kwamen iedere keer weer bezweet en helemaal gegrild terug, totaal verrast wat voor goede vragen ze kregen van de kinderen. Ook snapten de kinderen perfect het begrippen als verantwoording en participatie. Je kunt iemand raadplegen, maar als je vervolgens toch zelf alle beslissingen maakt, of raadpleegt iemand die helemaal niet in een positie is omdat die niet geletterd is bijvoorbeeld.’

Evalueren via de ‘slakkenmethode’. Foto: Laura Hughston

De evaluatoren werd geïnstrueerd dat ze bij het toezicht houden hun gezicht in de plooi moesten houden om niet waardeoordelen te laten blijken bij de conclusies van de kinderen, zodat zij er niet door werden beïnvloed – alhoewel dit niet nodig bleek, want de kinderen waren prima op hun gemak om beslissingen te nemen en zelf de leiding over de evaluatie te nemen.

Om de kinderen te helpen tot een eindoordeel te komen op de evaluatiecriteria (resultaten, effectiviteit, efficiëntie, relevantie en duurzaamheid), konden de kinderen een hagedis, gans, hert, cheeta of koe kiezen – hoe groter het dier, hoe succesvoller het programma. ‘Er werd door de kinderen hevig over gedebatteerd – dat heb ik andere evaluatoren niet zo zien doen.’ Aan het einde werden de resultaten teruggekoppeld aan de geïnterviewden om ze te valideren.

 Voordelen: Je vraagt kinderen zelf naar hun eigen beleving van een programma en laat hen hun eigen definitie van succes bepalen. Het zorgde voor additionele informatie. Kinderen kennen hun gemeenschap immers goed. Hughston: ‘Als ouders bijvoorbeeld zeiden dat hun kinderen niet naar school konden omdat ze het schoolgeld niet konden betalen, dan schreven wij evaluatoren dat netjes op. Maar de kinderen prikten daar dwars doorheen: “Hoezo niet, je hebt ook andere dingen kunnen kopen, dus waarom dan geen schoolgeld, of je had ook een koe kunnen verkopen, want je hebt er al vijf.”’

Tegenover kinderen bleken de antwoorden soms eerlijker. ‘Over de kwaliteit van onderwijs zeiden kinderen tegen ons dat het heel goed was, terwijl ze tegenover de kinderen evaluatoren openlijk hun twijfels uiten over het niveau en de vaardigheden van de veelal heel jonge leraren. Daarnaast kwamen er in Zimbabwe discussies op gang over meisjes die naar school gingen. Er werd verteld dat de school als een soort parkeerplaats fungeerde totdat ze gingen trouwen. De evaluatoren kwamen erachter dat het project ook bewustzijn meebracht over dat toegang tot onderwijs ook betekent dat je ook gelijke kansen krijgt, en ambitie hebt. Meer meisjes kozen moeilijke vakken als scheikunde. Dat hadden wij volwassen evaluatoren er niet uitgehaald’, zegt Hughston.

Twee evaluatoren interviewen een traditionele leider. Foto: Laura Hughston

Daarnaast groeiden de kinderen enorm in hun zelfvertrouwen, en leerden ze vaardigheden. Hughston: ‘Aan het begin waren de kinderen vaak vrij timide en stil, aan het einde spraken ze vol zelfvertrouwen en praatten ze erop los.’ Het meest tekenende voorbeeld was een weesmeisje die bij haar oma leefde en op een gegeven moment met een grote stift op haar shirt schreef: ‘Ik ben een slimme meid en ik ben trots op mezelf’.

Beperkingen: Het is een kwalitatieve studie, de groepen zijn klein. De methode is niet geschikt voor kwantitatieve evaluaties op grote schaal, (‘anders zou het ook op kinderarbeid gaan lijken’). De kinderen werden geselecteerd door de schooldirecteur – en ook al moest hij willekeurig kinderen kiezen, bias kan niet worden uitgesloten.

 

3. Verhalen van vlees en bloed

 

Wie? Roeland Muskens, Wereld in Woorden

Wat? Journalistiek evalueren

Waarom bijzonder? Informatie wordt via journalistieke methodes verzameld in plaats van via standaardvragenlijsten, en de resultaten worden op een journalistieke manier via (persoonlijke) verhalen gepresenteerd. De wereld van de storytelling is natuurlijk niet nieuw, maar vooralsnog vooral voorbehouden aan de mensen van de communicatieafdeling. Zonde, volgens Muskens. ‘Juist die storytelling is ook heel succesvol om te kijken wat je bereikt hebt.’ De journalistieke methode vervangt daarbij niet de reguliere aanpak van een evaluatie, maar is daar aanvullend op.

Hoe werkt het? Een evaluator, of een journalist, gaat op zoek naar ‘het’ verhaal binnen een interventie. Daarbij verzamelt hij of zij feiten, schetst de context, houdt interviews, observeert. Het lijkt op kwalitatief onderzoek, maar een journalist zoomt veel meer in op de ervaring van één of een paar personen. Muskens: ‘Wat dacht en deed diegene? Bij kwalitatief onderzoek is daar veel minder ruimte voor. En als je het al naar voren haalt, komt het niet naar boven in je verslag, maar gebruik je hoogstens een paar quotes.’

Daarbij synthetiseert de journalist de informatie, daar waar een evaluator meer analyseert. Een journalist brengt dingen met elkaar in verband, plaatst het in een bredere context, daar waar een analyse juist dingen lostrekt. ‘Met verhalen krijg je de politieke tegenwerking naar boven, de culturele hobbels, de toevalligheden, de onbedoelde gevolgen. Daardoor is zo’n interventie gemakkelijker te begrijpen.’

Muskens: ‘Iedere evaluator heeft vast weleens meegemaakt dat hij of zij bij een project een focusgroep houdt, met de dorpsoudste praat, maar het èchte verhaal pas aan de borrel hoort. Maar die kom je niet snel tegen in een evaluatierapport, want dat hoorde niet bij de vragenlijst of bij je respondenten.’ Met een journalistieke insteek ga je daar juist wel achteraan: je gaat op zoek naar het bijzondere verhaal die de wetmatigheden bevestigt of daar juist van afwijkt.

‘De echte verhalen hoor je bij de waterpomp.’ Foto: UNHCR / S. Phelps

Muskens pleit er zeker niet voor om de traditionele evaluatie te laten vervangen door een journalistieke. Idealiter zouden traditionele evaluaties gebruik moeten maken van journalistieke technieken – oftewel: ‘de grote N-waarde gecombineerd met de insteek van de journalistiek waar N = 1’.

Al vanaf het begin van een ontwikkelingsproject zouden de verhalen van mensen gevolgd moeten worden. ‘Bijvoorbeeld door mensen een camera mee te geven, dagboeken te laten bijhouden, een verhalenverteller aanstellen die de verhalen over verandering verzamelt. Je kunt blogs en vlogs maken, of een Facebookgroep aanmaken waarin een aantal mensen hun snapshots delen’, deelt Muskens z’n ideeën.

Wetenschappers en evaluatoren vinden journalistieke verhalen veelal te anekdotisch en daarmee niet rigoureus genoeg om conclusies over de effectiviteit van een programma aan te verbinden. Hebben de evaluatoren daar ook niet een punt? De ene boer kan immers een verhaal vertellen wat compleet afwijkt van het verhaal van een boer twee kilometer verderop – dus hoe veelzeggend is dat ene verhaal dan?

Muskens beaamt dat. ‘Evaluatoren zullen dat inderdaad geen gedegen bewijs vinden. Maar door het verhaal van één persoon op te tekenen, kun je wel veel leren over hoe een proces is verlopen. Als je bijvoorbeeld een waterleiding aanlegt, kun je meten in hoeverre de gezondheid is toegenomen. Maar je kunt ook verhalen optekenen rondom de dorpspomp. Dan zal je veel meer horen in hoeverre het aanleggen van water verandering heeft gebracht, sociale relaties heeft beïnvloed, et cetera. Bovendien: journalistiek is ook dat je de uitzondering een plaats geeft. Ook dat kan heel veel vertellen over processen, of wetmatigheden.’

Wereld in Woorden heeft de methode ontwikkeld samen met Warner Strategy & Fundraising. Het is een nieuwe aanpak die zich nog niet in de praktijk heeft bewezen. Maar een idee hoe een journalistieke methode gecombineerd kan worden met een ‘echte’ evaluatie, heeft Muskens al wel. ‘Neem het Global Citizens Panel van Oxfam. Dat is op zich een fantastisch idee: op basis van liefst 3.000 interviews heeft Oxfam in Nigeria bekeken wat de impact is geweest van haar programma. Die verhalen zijn vervolgens vooral gebruikt om te turven en op die manier kwantitatief iets over de impact te zeggen. Maar er wordt op geen enkel moment duidelijk, laat staan invoelbaar, wat de impact is geweest op het leven van de betrokkenen.

‘Je zou drie of vier geselecteerde mensen écht aan het woord moeten laten en hen uitgebreid laten vertellen over de impact. Daarvoor moet je ze wellicht volgen over de gehele looptijd van het project, en ook intensiever spreken over meerdere aspecten van hun leven. Dat soort diepte-interviews of reportages zouden de ruggengraat van een impactmeting moeten vormen, en de kwantitatieve gegevens kunnen dat verhaal vervolgens versterken.’

Voordeel: Mooi geschreven verhalen beklijven nu eenmaal beter dan enkel een rapport vol resultaten. Het is doodzonde dat evaluatierapporten door zo weinig mensen worden gelezen. Er valt zo veel van te leren. Door resultaten meer verhalend op te schrijven zullen veel meer mensen een rapport oppakken. Op die manier kan er ook intern gemakkelijker lering uit een evaluatie worden getrokken. Muskens: ‘Uiteindelijk leren de meeste mensen meer van verhalen, hoe iets daadwerkelijk gebeurd is, dan van geaggregeerde cijfers. Mensen die na een veldbezoek bij de lunch of het koffiezetapparaat vertellen wat ze hebben gezien en gehoord. Dat is minstens zo belangrijk als grote rapporten doorspitten.’

Donoren schreeuwen daarbij om goede verhalen die laten zien of iets werkt, en waarom. Resultaten zijn op die manier beter te communiceren naar de achterban en kunnen daarmee bijdragen aan draagvlakversterking van ontwikkelingssamenwerking.

Juist door de context en uitzondering in beeld te brengen, en met een open blik ervaringen op te tekenen, kan er informatie naar boven worden gebracht die je als evaluator met een vaste vragenlijst niet zo gauw ziet.

Nadeel: Het is geen wetenschappelijk rigoureuze methode en je respondenten zijn niet representatief. Algemene uitspraken over de werking van een programma kunnen daardoor niet worden gedaan. Muskens benadrukt daarom ook graag dat de journalistieke methode complementair is aan de reguliere evaluaties.

 

4. Doe een spelletje!

 

foto:Leonard Fäustle

Wie? Gonne Beekman, onderzoeker Wageningen Economic Research (WUR)

Wat? Gaming, oftewel met behulp van spelletjes gedragsverandering meten. Ook: Wageningen Living Lab, waarin onderzoekers uit verschillende onderzoeksdomeinen innovatieve methoden ontwikkelen om gedragsverandering te meten, onder anderen in evaluaties.

Waarom bijzonder? Meestal worden vragenlijsten gebruikt om dingen te meten, bijvoorbeeld het inkomen, of een begrip als vertrouwen. Maar daar zitten nadelen aan vast. Beekman: ‘Boeren houden geen kasboekjes bij. Als je inkomen wilt meten, moet je weten wat iemand heeft geoogst, wat heeft iemand zelf opgegeten en wat heeft iemand naar de markt gebracht, wat voor andere bronnen van inkomen dan landbouw heb je nog. Dan krijg je hele ruwe schattingen en veel meetfouten.’

In plaats daarvan kun je ook aan het gedrag van iemand afmeten hoe iemand er op vooruit is gegaan. er op vooruit is gegaan. Beekman: ‘Als je een Theory of Change hebt, kijken we naar de tussenstappen. Om het inkomen te laten stijgen, moet een boer z’n gedrag veranderen. Is hij meer gaan zaaien? Meer tijd aan landbouw gaan besteden? Zijn de kinderen naar school gestuurd? Maar ook: heeft hij of zij meer vertrouwen gekregen in anderen, of is hij of zij meer geneigd tot samenwerking? Dat zijn ook indicatoren die iets kunnen zeggen over inkomen.’

Via spelletjes zijn dit soort ‘softe’ gedragsveranderingen boven water te krijgen: bereidheid om samen te werken, vertrouwen, altruïmse. Het is een vaak gebruikte methode in de wetenschap, maar in de evaluatiewereld is het tot nu toe weinig gebruikt.

Hoe werkt het? Een van de spelletjes die Beekman graag gebruikt is het public goods game. ‘Hierbij zitten mensen in groepjes van vier en krijgen een startbedrag. Dat moet wel een betekenisvol bedrag zijn, om mensen echt serieus mee te laten spelen. Het bedrag mogen ze zelf houden, of in een gemeenschappelijke pot doen. Alles wat in die pot komt, wordt verdubbeld en herverdeeld over de vier mensen in de groep. Iedereen deelt mee, of je nu wel of niet bijdraagt. Als je bijvoorbeeld met één euro begint, en iedereen stopt het in de pot, krijg iedereen twee euro – dus één euro winst. Maar als jij die euro houdt terwijl andere mensen wel hun euro in de pot doen, krijg je er een halve euro bij, en is bij jou als enige persoon de winst dus anderhalve euro. Als iedereen zo denkt, gebeurt er niets. Dat zegt iets over de samenwerking in een gemeenschap.’

Vertrouwen kan ook goed via een spelletje worden gemeten. Beekman: ‘Als je mensen vraagt, ‘heb je vertrouwen in je dorpsgenoten?’, dan is dat een heel abstract begrip voor mensen om in te vullen. Je kunt wel vragen of je je buurman vertrouwt met je oogst naar de markt laten verkopen. Maar daar kunnen ook weer sociaal wenselijke antwoorden uitkomen. Met spelletjes simuleer je het gedrag.’ Om vertrouwen te meten worden mensen in groepjes van twee ingedeeld, en kunnen mensen een geldbedrag naar iemand toesturen dat door de spelleider wordt verdubbeld. De ontvanger kan dit verdubbelde bedrag vervolgens met je delen, of niet. Hoe meer je stuurt, hoe meer vertrouwen je hebt dat de ontvanger ook daadwerkelijk een deel naar je terug gaat sturen.’

Cruciaal in deze spelletjes is dat iedereen zijn keuzes anoniem maakt: niemand komt te weten met wie hij is gematched. Mensen hoeven dus niet bang te zijn om later ter verantwoording geroepen te worden voor hun keuzes, en nemen hun beslissingen dus echt op basis van hun eigen overwegingen.

Een voorbeeld waarbij Beekman de methode in een evaluatie heeft toegepast, was een programma van een ontwikkelingsprogramma in Liberia. Hierbij werden boeren getraind om meer te produceren op een gemeenschappelijk stuk land. Doel was om ze meer samen te laten werken, niet alleen op het veldje, maar ook binnen de gemeenschap. Zo zouden de boeren onderling meer vertrouwen krijgen, een belangrijk issue in postconflict Liberia. Beekman: ‘Daar kwam vrij onverwacht uit dat het vertrouwen juist minder was geworden. Mensen lieten het afweten om te werken op dat veld, want ze hadden het vaak druk genoeg met hun eigen plotje land. Hun ervaring was daardoor dat mensen in het dorp niet zo goed samenwerkten, en dat werkte ook door in een public goods spel.’ Dit waren we aan de hand van vragenlijsten alleen niet te weten gekomen.

Werken op het gemeenschappelijke stuk land in Liberia. Foto: Gonne Beekman

Ook al klinkt het een beetje als labexperimenten, de spelletjes benaderen het werkelijke gedrag van mensen vrij goed, ondervindt Beekman. Vaak worden de bevindingen ook gestaafd met reguliere vragenlijsten, en dan blijken de resultaten op zijn minst gerelateerd te zijn.

Normaal gesproken vragen Beekmans opdrachtgevers dat ze inkomens meet. ‘En dat doe ik natuurlijk ook. Maar het is cruciaal om ook andere aspecten langs de result chain te meten, zeker als je voorziet ’dat er een grote kans is dat inkomensdata niet accuraat zullen zijn. Helaas blijft inkomen in het gros van de impactevaluaties de ultieme impact-indicator, om zo verantwoording te kunnen afleggen aan de donor.’

Binnen het Wageningen Living Lab onderzoekt Beekman nu op welke individuen in een netwerk een organisatie zich moet richten om een grote gedragsverandering te bewerkstelligen. Is een leiderspersoon beter, of staat die te ver weg van de rest van de mensen? Kun je beter een “gemiddeld” persoon nemen? Zoiets zou een organisatie ook direct als Randomized Control Trial (RCT) kunnen opzetten, suggereert Beekman. ‘Vaak wordt er toch wel een pilot van een project gedaan, dus waarom dan niet direct een leervraag uitzoeken? Dat hoeven helemaal geen grote studies te zijn, je kunt het ook klein houden.’

Voordelen: Spelletjes verschaffen meestal beter inzicht in het gedrag van mensen dan vragenlijsten, en zijn daarom een goede methode om sociale veranderingen te meten in ontwikkelingsprogramma’s. Het geeft een rijker inzicht dat wanneer alleen met getallen een verandering van het inkomen wordt gemeten.

Beperkingen: Mensen moeten de spelletjes goed begrijpen. Zo niet, dan komt er rare data uit. Je weet niet precies hoe mensen het spelletje interpreteren, en dus: wat je precies meet. Beekman: ‘Het is daarom goed om mensen hier achteraf naar te vragen: waarom maakten ze bepaalde keuzes?’

 

5. Evalueren met je mobiel 

 

Wie? Anita van der Laan, planning, monitoring, evaluation & learning specialist bij Akvo

Wat: Evalueren via mobiele telefonie

Waarom bijzonder? Het introduceert moderne technologie in het verzamelen van data voor evaluaties, waardoor er sneller kwalitatief betere en rijkere informatie beschikbaar komt en deze ook sneller toegankelijk en te analyseren is dan met methoden die van papier gebruik maken.

Hoe werkt het? Interviewers (enumerators) gaan met mobiele telefoons het veld in om vragenlijsten af te nemen. Daarbij kunnen ook foto’s en video’s worden gemaakt. Via een ingebouwde GPS is ook direct de locatie bekend. Zo kun je bijvoorbeeld het aantal waterpunten in een gebied in kaart brengen en aangeven hoe ze functioneren.

De tool om data te verzamelen heet Akvo Flow. Akvo traint gebruikers in hoe de tool werkt, en geeft ook advies over het ontwerp van vragenlijsten. Met Akvo Lumen kan de data vervolgens geanalyseerd worden, via visualisaties zoals kaarten en grafieken.

Tot nu toe wordt het nog vooral gebruikt om te monitoren: dus door de partners van Akvo (ontwikkelingsorganisaties en regeringsinstanties) zelf om hun resultaten te monitoren. Evaluatoren hebben hun weg minder gevonden naar de Akvo tools, al maken ze wel gebruik van de data die met Akvo Flow voor monitoring is verzameld.

De snelle manier van data verzamelen heeft onder meer voordeel in rampgebieden. Van der Laan: ‘Vlak voordat Fiji in 2016 werd geraakt door cycloon Winston, waren de waterpunten bij scholen in kaart gebracht. Binnen 24 uur na de cycloon, hadden de lokale enumerators alweer nieuwe data verzameld over hoe de scholen er nu bij stonden en hoeveel water ze nog hadden. Die data heeft de regering kunnen gebruiken om fondsen aan te vragen bij de Wereldbank voor het repareren van de waterpunten. We helpen onze partners om iets met de verzamelde data te doen, om het te analyseren en het te gebruiken voor besluitvorming.’

Evalueren met de mobiel, Kenia.

Dat kan ook op individueel niveau. ‘Bij een vragenlijst over voeding hebben we een puntensysteem ontwikkeld zodat je aan het einde van het interview ook meteen goede raad kunt geven aan de persoon die je hebt geïnterviewd. Meestal stelt een interviewer bijvoorbeeld aan een vrouw vragen over de voeding in haar huishouden, en loopt hij daarna weer weg. Dan komen de resultaten wel terug op een geaggregeerd niveau, maar daar heeft een individu niet meteen iets aan. Door middel van het puntensysteem komt er nu aan het einde van de survey informatie die je haar kan geven, je kunt bijvoorbeeld terug koppelen dat haar kind misschien niet ondervoed is, maar wel een proteïnetekort heeft.’

Voordelen:  Het is voor de hand liggend, maar desalniettemin een groot voordeel: je hoeft niet met stapels papier te zeulen, die vervolgens moeten worden overgetypt. Via GPS zijn je gegevens verbonden met een locatie, dus kun je altijd terugzien waar je interview is gehouden. Het is veel sneller en minder foutgevoelig, en ook betrouwbaarder. Van der Laan: ‘Als je enumerator bijvoorbeeld alle vragenlijsten in de kroeg heeft zitten invullen, kun je dat direct zien.’

Akvo moedigt de gebruikers aan om de data openlijk op internet te zetten. Zo kunnen  anderen de data ook gebruiken en andere organisaties kunnen zien wat voor activiteiten er al gaande zijn in een gebied.

Nadelen: Akvo Flow is minder geschikt voor kwalitatief onderzoek in evaluaties, omdat je moeilijk uitgebreide antwoorden op je telefoon kunt typen. Daarnaast vereist het smartphones en de Flow software.

Data is bovendien macht: het kan ook misbruikt worden. Of het tegenovergestelde: als een regering wel data verzamelt, maar vervolgens onwelwillend is om iets met de data te doen, omdat het gevoelige informatie kan bevatten. Wanneer blijkt dat in het gebied waar de president vandaan komt alle waterpunten wel functioneren bijvoorbeeld, en elders niet. Van der Laan: ‘Daar zijn we nu kritischer over aan het worden: wij willen wel dat er iets positiefs met de data gebeurt.’

 

6. De ‘werkelijke’ prijs

 

Foto: Onno Roozen

Wie? Michel Scholte, Director True Price

Wat? Impact meten door de ‘true price’, oftewel daadwerkelijke prijs van een product te berekenen via een kwantitatieve methodes.

Waarom bijzonder? Bij de True Price methode worden de maatschappelijke en milieu kosten berekend. Het is vooral een interessante manier om de impact van bedrijven en producten te meten. De impact wordt gemeten op basis van mensenrechten en klimaat conventies. Op die manier wordt specifieker gemeten en hoeft ook niet een brede waaier aan aspecten worden gemeten. Daarnaast onderscheidt de aanpak zich door een duidelijke actiegerichte component.

Hoe werkt het? Anders dan bij de meeste organisaties, werkt True Price met een scala aan geschoolden in de exacte wetenschappen: natuurkundigen, wiskundigen, econometristen. Zij meten van waardeketens zoals die van banaan en koffie de impact gemeten op de maatschappij en het milieu. Bijvoorbeeld of mensen een leefbaar loon krijgen, wat er wordt gebruikt aan water of pesticides. Vervolgens worden de alternatieven berekend: wat als je groenere voorzieningen gebruikt, zoals circulaire watervoorzieningen? Hoe stoot je minder CO2 uit? Er zit dus een concreet actieplan aan vast met verbeterpunten, en er wordt doorgerekend wat dat voor impact heeft op een bedrijf. Scholte: ‘We verwerken de informatie zodat het interessant is voor strategische beslissingen. Hoe kun je de komende vijf jaar je sociale kosten terugbrengen zonder dat je failliet gaat?’

Een favoriet voorbeeld is een impactevaluatie voor Hivos over de ‘echte prijs’ van rozen. Scholte: ‘Voor zeventig cent wordt die roos verkocht, maar de echte prijs is zo’n 90 cent, met 20 cent aan maatschappelijke kosten. Voor een groot deel is dat onderbetalingen: de werknemers krijgen ongeveer een derde van wat ze moeten krijgen voor levensonderhoud. Dan is er de energie uitstoot en de extractie van schaarse grondstoffen, onder meer vanwege het transport in het vliegtuig.

‘Wij kijken wat nu wat voor manieren er zijn om de keten te verduurzamen waarbij je er netto niet op achteruit gaat. Die kwekers zijn heel competitieve bedrijven, in een heel competitieve markt, dus dit is belangrijk. Zo kun je luchtvracht vervangen door zeevracht, want dan bespaar je kosten van transport en CO2. Je kunt de rozen bevriezen zodat ze niet verwelken. Dat vergt innovatie. Heel veel van die oplossingen vergen innovatie om de maatschappelijke kosten terug te dringen zonder dat je de winst voor je bedrijf vermindert. Ook zorgen voor een leefbaar loon is een innovatievraagstuk. Want wat is nu de innovatieve sociale infrastructuur zodat je een betere en snellere productie krijgt die je kunt besteden aan de inkomens van mensen? Je kunt veel besparen op energie, bijvoorbeeld duurzame energiebronnen in plaats van dieselpower, insecticide management, circulaire watervoorzieningen, et cetera.’

Indonesische koffieboeren telen mixed crops en krijgen beter betaald. Foto: TruePrice

Een voorbeeld van een bedrijf dat de evaluaties van True Price gebruikt is AkzoNobel, die chemische fabrieken in Brazilië liet onderzoeken. Vanwege het hoge gebruik van energie bleken de milieukosten hoog, terwijl vanwege de werkgelegenheid het sociale aspect hoog scoorde.

Voordelen: Niet alleen de baten, maar ook de kosten worden in kaart gebracht. Het dwingt bedrijven na te denken over hun sociale en milieu impact. Het biedt concreet handelingsperspectief voor bedrijven. Zo bepaalde Tony Chocolony de hoogte van het loon op de impactstudies van True Price. Het is een onderdeel in een grotere transitie waarbij bedrijven steeds meer letten op maatschappelijke en milieu impact. Scholte: ‘In 2011 werden we nog raar aangekeken. Maar nu krijgen we opdrachten van de grootste bedrijven, en niet alleen de voorlopers. Het wordt een gangbare exercitie voor ieder bedrijf.’

Nadelen: Geen duidelijke nadelen, maar de true pricing benadering is vooral ten voordeel van evaluaties van producten en bedrijven en minder relevant voor reguliere ontwikkelingsprogramma’s. De nadruk is vooral op het kwantitatieve, waardoor waardevolle kwalitatieve informatie soms kan ontbreken.

 

 

Dit artikel is geschreven in het kader van de bijeenkomst ‘Leren van Evalueren’ op 29 september. Kijk hier voor meer informatie.