Vandaag wordt het IOB-rapport ‘Op zoek naar focus en effectiviteit’ door co-auteurs Jan Klugkist en Antonie de Kemp toegelicht. Het rapport, dat vorige week is verschenen, is  kritisch op het gebrek aan goede evaluaties van de effecten van het Nederlandse beleid rond private sector ontwikkeling (PSO). Enerzijds neemt de roep om resultaten vanuit de politiek toe, maar anderzijds staat het evalueren van ontwikkelingseffecten door de private sector nog in de kinderschoenen. Desondanks zien Klugkist en De Kemp veel mogelijkheden om dit te verbeteren.

Wat zijn de belangrijkste punten in het rapport  voor private sector ontwikkeling door Nederland, zowel positief als kritisch?

De Kemp: ‘Het ministerie heeft ingezet op een aantal belangrijke terreinen. Dat blijkt ook uit de literatuur. Er is brede consensus dat infrastructuur en financiële dienstverlening van groot belang zijn voor een goed functionerende private sector. In die zaken is veel geïnvesteerd en om goede redenen. De belangrijkste kritiek is dat er in veel gevallen geen duidelijke effectenevaluatie is geweest. Uitvoerende organisaties weten in detail wat hun investeringen in bruggen, waterinstallaties en microkredieten inhouden, maar zij weten veel te weinig over wat al de investeringen hebben opgeleverd voor de beleidsdoelen van ontwikkelingssamenwerking: armoedevermindering en duurzame, inclusieve groei. Het is frustrerend om rapport na rapport te lezen en steeds tot de conclusie te komen dat we weinig zicht hebben op die effecten. De private sector is niet gewend is om diepgaand naar de effecten van haar handelen te kijken. Ze is veel meer gericht op directe doelstellingen realiseren. Buitenlandse studies wijzen dat ook uit.’

Is het probleem dat een ondernemer zijn of haar prioriteit heeft liggen bij directe resultaten en minder bij ontwikkelingsdoelstellingen?

De Kemp: ‘Daar zit inderdaad een probleem. Investeringsbanken laten  hun investeringen via lokale banken en financiële instellingen lopen. Ze zien het vaak niet als hun verantwoordelijkheid om bij te houden wat er uiteindelijk met de middelen gebeurt. Daar komt bij dat zij  soms moeten concurreren of samenwerken met andere investeerders. Ook dat maakt organisaties terughoudend om gedetailleerde informatie over lokale klanten op te vragen.’

De periode die u onderzocht heeft is lang, van 2005 tot 2012. Is het niet wat laat om nu, anno 2014, met zulke uitgebreide kritiek te komen? Waarom weet de IOB nu pas dat de evaluaties niet afdoende zijn?

De Kemp: ‘Juist in de private sector gaat het om projecten met een lange looptijd. Veel programma’s worden om de vijf jaar geëvalueerd en dan zijn projecten lang niet altijd afgerond. Daar komt bij dat in de loop van de jaren de evaluatie-eisen ook zijn toegenomen.  In de laatste tien jaar is de evaluatiepraktijk sterk verbeterd, mede door de sterke roep om resultaten, maar ook door betere data en nieuwe technieken. Systematische impactstudies verschenen vooral na de eeuwwisseling.. Dat gaf een impuls aan het werkveld. Vroeger werden sectoren geëvalueerd door iemand die er zelf in zat, maar nu wordt erkend dat evalueren een vak apart is. In de sociale sectoren zoals cultuur, onderwijs en zorg wordt al langer rigoureus en systematisch geëvalueerd dan in de private sector. De private sector kan daarvan leren.’

Maar eerst waren er dus geen duidelijke, harde afspraken. Is het wel eerlijk van de IOB om de uitvoerders nu te bekritiseren op een gebrek aan kennis over impact?

Klugkist: ‘Onze kritiek richt zich niet zozeer op de uitvoerders, maar op de aanpak vanuit het ministerie. Die heeft een tijdlang niet goed gekeken of de instrumenten wel effectief bijdroegen aan armoedebestrijding en inclusieve economische groei. We onderzoeken de claims die het beleid maakt, en als onduidelijk blijft of die claims worden gerealiseerd, dan is het aan ons om dat te signaleren. Mede onder invloed van het WRR-rapport (‘Minder pretentie, meer ambitie’ – red) is er een overschakeling geweest van sociaal naar meer economisch ontwikkelingsbeleid. Maar de kennis over de uiteindelijke effecten ervan laat nog op zich wachten. In ons rapport zijn we wel positief over de forse schaal van veel Nederlandse PSO-instrumenten, de aantallen mensen en bedrijven die bijvoorbeeld met kredieten of nieuwe elektriciteitsvoorzieningen zijn bereikt.’

De Kemp: ‘De constatering “we weten niet hoe groot het effect is” is niet hetzelfde als “het heeft niets opgeleverd.” Er zijn een paar uitzonderingen waarvan we weten dat het effect niet groot is, maar de rest kan wel eens heel effectief zijn.’

Wat gaat er gedaan worden om het evalueren van private sector ontwikkeling te verbeteren?

Klugkist: ‘IOB en de beleidsdirectie die binnen het ministerie verantwoordelijk is voor het PSO-beleid hebben in 2011 onder staatssecretaris Knapen een speciaal evaluatieprotocol voor private sector ontwikkeling uitgewerkt. Dat protocol is sinds 2012 van kracht en eist duidelijkheid over de te bereiken doelen, de theory of change, waar er gemeten en waar er op afgerekend moet worden. Er zijn duidelijke afspraken gemaakt met de uitvoerende organisaties. De lat is hoger gelegd en de IOB verwacht vanaf nu diepgaander evaluaties. De eerste resultaten van de impactevaluaties verwachten we rond 2016-17 en deze zullen een belangrijke input zijn voor de volgende beleidsdoorlichting van IOB.Het ministerie heeft onze opbouwende kritiek omarmd. Wetenschappelijke instituten spelen een grote rol in de evaluaties en er zijn nieuwe afspraken gemaakt met de uitvoerende organisaties. Maar het gaat in deze sector dus om lange-termijninvesteringen. De eerste voorzichtige resultaten verwachten we rond 2017.’

Komt er niet veel fragmentatie in het overzicht als iedere uitvoerder zijn eigen evaluatiemethode gebruikt?

De Kemp: ‘De uitvoerders schakelen vaak universiteiten en kennisinstellingen in die de kennis en kunde daarvoor in huis hebben. Ik ben een voorstander van het gebruik van verschillende evaluatiemethoden, omdat alle methoden hun voor- en nadelen hebben. We weten helemaal  nog niet  hoe PSO-beleid het best en meest efficiënt geëvalueerd kan worden en het is dus goed om ruimte te houden voor verschillende methoden.’

Klugkist: ‘Het is goed dat een uitvoerende organisatie zelf verantwoordelijk is geworden voor behoorlijke evaluatie, want dat zet ertoe aan dat ze haar eigen basisgegevens vanaf het begin af aan op orde houdt. Zo komt er een completer beeld over de gehele periode, waarin naar tussentijdse doelen toe wordt gewerkt. Dat draagt sterk bij aan een gedegen evaluatie aan het einde.’

U schrijft in het rapport over een te groot optimisme over trickle down effecten en niet goed ingeschatte gedragsreacties. Is het vertrouwen in de dynamiek van de vrije markt te groot geweest?

De Kemp: ‘Over het algemeen is er de laatste jaren een groot vertrouwen in de markt, met als achterliggende gedachte dat economische groei armoede zal verminderen. Maar we zien ook duidelijk dat er veel landen zijn waar de economie al een decennium behoorlijk groeit maar waar armoede maar in beperkte mate afneemt. Grotere ongelijkheid is het resultaat. Ook concentreert groei zich in een aantal landen in een beperkt aantal sectoren, zoals olie- of goudwinning. Maar als een land afhankelijk is van één  product is er een groot probleem als de vraag op de wereldmarkt instort. We moeten oppassen iedere vorm van groei als inclusief te beschouwen. Er moet heel gericht worden geïnvesteerd om te zorgen dat een onderneming bijdraagt aan meer werkgelegenheid en minder armoede.’

Het is opmerkelijk dat u constateert dat er leningen gaan naar de armste landen en giften naar middeninkomenslanden. Men zou verwachten dat het andersom was.

Klugkist: ‘Wij pleiten ervoor dat het ministerie goed overweegt of giften of juist leningen het beste passen  bij het ontwikkelingsniveau van een land en het soort activiteiten dat men wil steunen. Nu hebben we bijvoorbeeld een infrastructuurfonds speciaal voor de armste landen dat met leningen werkt, terwijl een ander infrastructuurfonds voor een veel bredere groep van ontwikkelingslanden juist met giften werkt.’

De Kemp: ‘Er wordt soms teveel uitgegaan van het instrument en de vraag waar dat kan worden ingezet, en minder van de problematiek op een bepaalde plaats en de vraag hoe deze kan worden opgelost. Die afweging zou scherper kunnen worden gemaakt.’

De minister heeft gereageerd op het rapport en doet een aantal belangrijke beloften, onder andere over het Dutch Good Growth Fund wat dit jaar gaat starten. Ze wil de inzichten van dit rapport gebruiken om te zorgen dat de additionaliteit en de evaluatie van dit instrument in orde zijn. Wat verwacht u daarvan?

Klugkist: ‘Het is aan de Tweede Kamer om te oordelen over de beleidsreactie van de minister. Het is niet onze rol om iets te voorspellen over het Dutch Good Growth Fund. We willen een open vizier houden, want over een paar jaar zal IOB naar de effecten van het fonds moeten kijken. ’

De Kemp: ‘Betrokken partijen moeten samen zicht houden op het proces en de uiteindelijke effecten. Regelmatig overleg tussen de ministerie en de uitvoerders kan daar ook bij helpen. Uiteindelijk moet er gehandeld worden naar de geest van het beleid, niet alleen naar de letter van de regel. Uitvoerders moeten ook bij zichzelf constateren dat zaken beter kunnen en dat niet alleen aan de financiële randvoorwaarden vastgehouden moet worden. Onze indruk was dat in de programma’s die we bestudeerd hebben de ontwikkelingsdoelen het gaandeweg aflegden tegen de financiële overwegingen. Dat ontwikkelingsdoelen minder hard zijn vast te leggen heeft daar ook mee te maken. Ze moeten dus goed bewaakt worden.’

De Kemp: ‘Additionaliteit is verder een sleutelconcept. De overheid moet alleen actie ondernemen waar het effect heeft en de markt het nog niet kan of wil doen. Maar het blijft een lastige afweging. Marktpartijen stappen in de meer lucratieve projecten met een hoge kans van slagen. Publieke middelen zijn bestemd voor  situaties waar de markt niet in wil stappen, bijvoorbeeld vanwege  hoge risico’s. Maar de situatie kan ook snel veranderen. Telecommunicatie is daar een voorbeeld van. Ruim tien jaar geleden was de bereidheid van de markt om daarin in te investeren in veel ontwikkelingslanden nog beperkt. Ontwikkelingsbanken deden dat wel, en sommige nu nog steeds. In rurale gebieden in conflictstaten kunnen daar goede argumenten voor bestaan, maar voor het overgrote deel kan de markt nu zelf in nieuwe investeringen voorzien. De additionaliteit van investeringen in deze sector is dus sterk afgenomen.’

Kort samengevat: je kan alleen zeker weten of je additioneel bent door niets te doen en te zien of de markt het oppakt. Maar dan vervul je als PSO-uitvoerder ook je taak niet.

De Kemp: ‘Het is belangrijk die discussie over additionaliteit niet dood te slaan in de zin van: “We doen het, dus het is additioneel”. Je moet het kunnen onderbouwen, ook al is de situatie complex en onduidelijk. Er zijn gevallen waarin een investering evident additioneel is en zelf ook waarin deze dat evident niet is. Maar vaak is er sprake van een groot grijs gebied.’

Er gaan vast mensen uit de ngo-wereld zeggen: “zie je wel, die private sector boekt geen resultaat, ook niet na veel beloften en een paar miljard. Ngo’s zijn beter in armoedebestrijding.” Wat zou u tegen die mensen zeggen?

De Kemp: ‘Niet weten wat het effect is, is niet hetzelfde als zeggen dat er geen effect ís. Dat is heel belangrijk om te onthouden. Wij zeggen absoluut niet dat dit weggegooid geld is. We weten alleen niet wat de effecten zijn. Misschien is het beleid wel veel effectiever dan wij denken. Verschillende ngo’s hebben op het punt van evaluaties al een flinke inhaalslag doorgemaakt, maar dat wil nog niet zeggen dat alle ngo’s nu meer zicht hebben op armoede-effecten dan de private sector.’

Het IOB-rapport is in dit document samengevat.