‘Utilization-Focused Evaluation’ noemt de internationaal gerenommeerde Michael Quinn Patton zijn aanpak. Geen nieuwe methodiek, maar een inzicht voor meer effectieve evaluaties. Vice Versa interviewde hem voor de bijlage over evalueren die met Vice Versa nummer 3 werd meegestuurd.

Simpel gezegd komt zijn aanpak hierop neer: je moet goed weten waarom en voor wie je een evaluatie uitvoert voordat je eraan begint. Dat klinkt als een open deur, maar dat is het niet, weet hij dankzij jarenlange ervaring. Patton houdt zich al met evaluaties bezig sinds begin jaren zeventig, toen dit voor de non-profitsector nog een relatief nieuw terrein was.

Wat bedoelt u met Utilization-Focused Evaluation?

‘Er zijn allerlei methoden en standaarden voor goede evaluaties. Maar welke methode je ook kiest, evalueren heeft geen zin als het rapport niet wordt gebruikt. Het belangrijkste is dat je goed weet voor wie en met welk doel je de evaluatie uitvoert. Dat heeft namelijk allerlei consequenties. Niet alleen qua taalgebruik, maar ook qua deadline. Als je bijvoorbeeld wilt dat het management de resultaten meeweegt bij het nemen van besluiten, moet je wel op tijd zijn. Maar de meeste evaluaties worden pas uitgevoerd aan het einde van een programma. Besturen besluiten vaak al veel eerder om wel of niet door te gaan. Dan ben je dus te laat.’

Hoe kies je de juiste evaluatiemethode?

‘Helaas hebben nog veel mensen het simplistische idee dat je een evaluatie kunt uitvoeren die voor iedereen interessant is. Evaluatoren beginnen vaak maar gewoon aan een onderzoek. Ze bepalen zelf de onderzoeksvragen en vergeten hierover in gesprek te gaan met de toekomstige lezers van hun rapport. Dan wordt je evaluatie natuurlijk niet gelezen. En als een evaluatie bestemd is voor beleidsmakers, kies je voor een heel andere aanpak dan wanneer ze bedoeld is voor het grote publiek. Beide groepen zijn in heel andere dingen geïnteresseerd. Je moet dus eerst en vooral duidelijk krijgen voor wie de evaluatie bedoeld is.’

Maar je moet toch ook naar het programma kijken om de juiste methodiek te bepalen?

‘De eerste stap is toch echt dat je moet weten tegen wie je praat en wat het doel is van de evaluatie. Is ze bijvoorbeeld bedoeld om je te verantwoorden, om ervan te leren of om een beleidsbeslissing te kunnen nemen? Voor elk van deze drie doelen moet je een ander moment en een andere aanpak kiezen. Gek genoeg worden evaluatoren niet getraind in dit soort simpele dingen.’

Wat zouden ze dan moeten leren?

‘Evaluatoren leren hoe ze onderzoek moeten doen en hoe ze interviews moeten houden. Belangrijk, heus, maar ze leren bijvoorbeeld niet hoe ze een evaluatie moeten plannen, wat ze aan sociale media kunnen hebben of hoe ze een samenvatting kunnen schrijven.’

Wat is het probleem van de meeste samenvattingen dan?

‘De meeste besturen van organisaties lezen alleen de samenvatting – als je geluk hebt. Dan moet je dus niet uitgebreid gaan uitweiden over de methodologie en maar heel kort ingaan op je bevindingen. Bovendien is het niet zinvol als je je conclusies in de vorm van aanbevelingen schrijft: doe het voortaan zus of doe het zo. Je kunt je bevindingen beter formuleren als scenario’s. Waar moet je op letten als situatie A zich voordoet en wat is belangrijk als situatie B optreedt? Aanbevelingen vormen een lineaire en beperkte benadering, waarbij je ook nog eens veel tegenstand kunt krijgen van bijvoorbeeld het bestuur van de organisatie. Het is beter om je bevindingen weer te geven en vervolgens scenario’s en de implicaties daarvan te schetsen.’

Patton schreef vijf boeken over evalueren, waaronder Utilization-Focused Evaluation (2008) en Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use (2010).

Meer weten over evaluatiemethodes? Lees het artikel in de nieuwste bijlage Vice Versa leert over evalueren! Neem nu een abonnement en u krijgt de special nagestuurd!