Rekenschap afleggen of lessen trekken? Twee kanten van de evaluatie medaille, die op papier zonder probleem met elkaar gecombineerd worden. Maar hoe werkt dit uit in de praktijk? Zijn deze evaluatie doelen echt verenigbaar? En hoe doe je dit dan?

Het oude dilemma van rekenschap & leren

We leren uit ervaring. Zowel uit goede (best practices) en minder goede (lessons learned). Voorwaarde voor dit leren uit ervaring is dat ervaringen zo scherp en zuiver mogelijk in beeld worden gebracht. Openheid is dan noodzakelijk. Openheid over waar de beschikbare middelen voor zijn gebruikt, welke activiteiten hebben plaats gevonden en met welk resultaat. Openheid over de gewenste en ongewenste effecten op de doelgroep en, als het lukt, op de bredere gemeenschap waar de doelgroep deel van uitmaakt.

Maar openheid vereist vertrouwen. Vertrouwen dat gegevens ten goede worden gebruikt, wat in een sector die in toenemende mate gekenmerkt wordt door ‘rekenschap afleggen’ steeds moeilijker wordt. Rekenschap afleggen wordt meer geassocieerd met ‘afrekenen’ dan met ‘lessen trekken’. En iedereen wil natuurlijk een mooie afrekening, en dat vereist een mooi verhaal, een wat opgepoetste waarheid, een zorgvuldig geregisseerde openheid.

Misschien moeten we constateren, dat rekenschap afleggen en echt leren van evaluaties, niet samen gaan of in elk geval niet tegelijkertijd met hetzelfde proces bereikt kunnen worden. Er moet een keuze gemaakt worden, omdat zoals altijd, niet kiezen tot niets leidt.

Kiezen voor leren als evaluatie doelstelling

Een goede evaluatie begint met een duidelijke keuze. Een duidelijke keuze voor leren of rekenschap afleggen, inclusief duidelijkheid over wie er precies baat bij de evaluatie moet hebben. Pas als dit duidelijk is kan het evaluatie proces serieus vorm worden gegeven, en voorkomen worden, dat uiteindelijk alleen de consultant echt wat opsteekt van de evaluatie.

Kiezen voor leren als evaluatie doelstelling heeft enorme implicaties op de vormgeving van het proces. Het creëren van een effectief leerproces vereist niet alleen een vergaande mate van participatie van de beoogde leerbegunstigden, maar ook een aantal zorgvuldig uitgewerkte processtappen, die samen het experiential learning process vormen. Een proces waarin ruimte en veiligheid voor openheid geboden wordt, zonder in te leveren op de accuraatheid van gegevens en diepgang van de analyse. Cruciaal hierbij is de integriteit en consequent zichtbaar houden van de doelstelling van de evaluatie, zowel tijdens het evaluatie proces als in het gebruik van de evaluatie resultaten.

Leren van evalueren – het creëren van een experiential learning process

Met een duidelijke en oprechte leerdoelstelling als basis, kan een experiential learning process ontworpen worden, waarbij 4 fasen onderscheiden worden (zie figuur hieronder).

1. Ervaringen delen

2. Begrijpen en reflecteren

3. Concluderen en toekomst denken

4. Aanpassing en toepassing

Idealiter zijn tijdens de verschillende fasen van het proces verschillende belanghebbenden actief betrokken, waaronder de ‘beoogde begunstigden’ (vaak de implementerende organisatie en/of financierende organisatie), de doelgroep en inhoudelijke experts. De vormgeving, voortgang en kwaliteit van het proces worden bewaakt door een ‘leer-facilitator’. Deze begeleidt de verschillende betrokkenen door de verschillende processtappen, houdt hen waar nodig de spiegel voor, draagt zorg voor een evenwichtige bijdrage en houdt de aantrekkelijkheid van en samenwerking binnen het proces in de gaten. Dit alles om uiteindelijk een door iedereen begrepen en geaccepteerd evaluatie resultaat te komen.

De eerste fase, ervaringen delen, begint met het gezamenlijk vaststellen van ‘welke informatie hebben we precies nodig’ en waar vinden we deze informatie op een zo eenvoudig en betrouwbaar mogelijke manier. Hierbij wordt vooral gedacht aan al bestaande monitoringsinformatie en bronnen waar de verschillende betrokkenen eenvoudig toegang tot hebben. Diversiteit van informatie (kwantitatief en kwalitatief) en bronnen maakt het plaatje van ervaringen rijker en betrouwbaarder. Dit leidt vervolgens tot een data-verzamelingsplan (incl. methodieken, verantwoordelijkheden en rapportage formats), waarmee de dataverzameling op een zo efficiënt mogelijke wijze wordt vormgegeven.

In de tweede fase, begrijpen en reflecteren, is een heldere selectie, structurering en weergave van de vaak vele data een cruciale succesfactor. Visualisatie is een must, zeker in situaties waar taalbarrières en culturele diversiteit een rol spelen, om data om te zetten in begrijpelijke en betekenisvolle informatie. Validatie van deze informatie door betrokkenen (i.e. Herkennen we ons in deze informatie?) is vervolgens weer belangrijk voor de acceptatie van de analyse en conclusies, die uit deze informatie getrokken gaan worden. Een ander belangrijk aandachtspunt is de diepgang van de analyse. Hierbij kan een eenvoudig algoritme als leidraad dienen om de kwaliteit van conclusies (= combinatie van accuratesse en acceptatie) in termen van Best Practices, Lessons Learned of in de vorm van Dilemmas zeker te stellen.

In de derde fase wordt de blik verlegd naar de toekomst. Conclusies uit ervaringen worden gebruikt als inspiratie voor aanbevelingen voor de toekomst, wetende dat de eerdere context in de toekomst altijd anders zal zijn. Toekomst denken (i.e. futuring) moet dus meer zijn dan een eenvoudige projectie van het verleden op de toekomst. Deze fase vereist het ontwikkelen van innovatieve ideeën om ‘lessons learned’ inderdaad toe te passen, ‘best practices’ te consolideren en slagvaardig met bestaande dilemmas om te gaan. Een verscheidenheid aan creatieve facilitatie technieken kan hierbij, vaak in een workshop setting, toegepast worden. Van Delphi-methode tot Thinking hats, van Disney Rooms tot Scenario planning enzovoorts.

In de vierde fase, welke vaak buiten het blikveld van het conventionele evaluatie proces valt, worden de aanbevelingen uit fase 3 meer concreet gemaakt, wat de leercyclus rond maakt. Dit vaak in de vorm van operationele aktieplannen met zorgvuldige aandacht voor de specifieke dynamiek, die gepaard gaat met veranderingsprocessen. Ook hier geldt dat de lerende organisatie leidend moet zijn en de rol van de evaluator / leer facilitator vooral begeleidend.

Toch combineren – eerst leren dan rekenschap!

Terugkijkend op een succesvol leerproces blijkt er een scherp en zuiver beeld van de werkelijke aktiviteiten en resultaten van een interventie te bestaan. Een beeld dat uitermate geschikt is om ook rekenschap mee af te leggen, mits gebruikt voor de ontwikkeling en verbetering van verdere samenwerking en niet slechts ter afrekening. Leren en rekenschap afleggen kan toch gecombineerd worden. Niet tegelijkertijd maar opeenvolgend. Eerst leren dan rekenschap.