Dat de evaluaties van het gevoerde beleid binnen de private sector volgens de IOB te wensen overlaten, is inmiddels bekend. Maar hoe kijken de genoemde bedrijven zelf tegen het oordeel van het onderzoeksinstituut aan? Vice Versa bracht een bezoek aan het hoofdkwartier van ontwikkelingsbank FMO in Den Haag en sprak daar met directeur Nanno Kleiterp over de conclusies van de evaluatie. ‘Wat dit rapport voor mij bewijst, is hoe lastig de correlaties en attributies te bewijzen zijn en hoe diepgaand onderzoek hiernaar moet worden gedaan.’

Zestien procent van de programma-uitgaven aan de private sector is tussen 2005 en 2012 terechtgekomen bij ontwikkelingsbank FMO. Uitgesmeerd over de fondsen FMO-MASSIF (8 procent), FMO-IDF (6) en FMO-CD (2), kreeg de bank daardoor in deze periode 528 miljoen euro van de overheid ter beschikking. Meer dan een half miljard dus, met als primair doel het creëren van economische groei dat vanzelf moet leiden tot minder armoede. Maar uit het IOB-rapport blijkt dat de bedrijfsevaluaties tekort schieten wil er aangetoond worden of er daadwerkelijk armoedevermindering heeft plaatsgevonden.

‘Wie de inleiding van de IOB-evaluatie leest, zal zeggen: de totale investeringen hebben best een positief effect gehad. Maar wie verder leest, ziet dat slechts een klein deel van de evaluaties voldoet aan de criteria van het IOB, dat graag ziet bij welke mensen het geld terecht is gekomen en hoe zij dat uitgegeven hebben’, zegt Nanno Kleiterp, volgens wie de evaluatie-lat van de IOB heel hoog ligt. ‘De crux bij deze evaluatie is dat er niet wetenschappelijk kan worden aangetoond dat er een causaal effect is tussen de manier waarop je ingrijpt en de verandering die je wilt bewerkstelligen. Let wel, dit betekent niet dat wanneer je iets niet wetenschappelijk kan aantonen, er helemaal geen verband bestaat. Je weet het alleen simpelweg niet zeker. Dat maakt het moeilijk om iets over dit rapport te zeggen. Wat dit rapport voor mij vooral bewijst, is hoe lastig de correlaties en attributies te bewijzen zijn en hoe diepgaand onderzoek hiernaar moet worden gedaan.’

Trickle down effect

Hoe dan ook legt Vice Versa een aantal van de zaken die in het rapport gesteld worden aan Kleiterp voor. Zoals de opmerking dat wanneer er wél uitgebreid effectonderzoek is gedaan er vaak blijkt dat er te weinig armoedefocus is geweest gepaard met eente optimistische inschatting van de trickle down effecten.

‘Als ontwikkelingsbank houdt FMO zich bezig met indirecte armoedebestrijding. Dat zijn veronderstellingen die ik niet kan bewijzen, maar die heel veel studies wereldwijd onderbouwen’, zegt Kleiterp hierop. ‘Het is heel aannemelijk dat een bedrijf dat groeit en werkgelegenheid creëert ervoor zorgt dat meer mensen een inkomen krijgen en dat daardoor de armoede afneemt. Dat is een logische redenering. De allerarmsten, die niet werken en geen opleiding hebben zullen door bijvoorbeeld FMO-MASSIF niet bereikt worden. Maar dat armoede wordt verminderd door het creëren van werkgelegenheid, en dat mensen daardoor belasting gaan betalen, is volgens mij wereldwijd bewezen. Kijk hiervoor maar naar het voorbeeld van China.’

Of het trickle down effect per project kan worden bewezen, is volgens Kleiterp een andere vraag. ‘Binnen FMO-MASSIF wordt veel aan microfinance gedaan, een groot gedeelte daarvan bereikt honderdduizenden arme mensen. Maar of zij door dat krediet ook echt minder arm worden, dat kunnen wij niet bewijzen. Maar ik bestrijd dat FMO deze mensen niet zou bereiken. FMO kijkt naar alle bedrijven in haar portefeuille en dan zien wij dat ze een bepaalde werkgelegenheid creëren. Kun je bewijzen dat dit enkel en alleen komt door de lening van FMO? Nee, want er zijn talloze andere zaken van invloed op het wel of niet succesvol zijn van een bedrijf.’

Over een kam scheren

Naast zaken die niet (helemaal) te bewijzen zijn, stipt Kleiterp aan dat de IOB buiten beschouwing laat dat de leningen van het FMO revolverend zijn. ‘De IOB-studie maakt geen onderscheid tussen schenkingen of investeringen. Waar helemaal niet op wordt ingegaan, is dat bij FMO het geld terugkomt. Onze leningen zijn revolverend, in tegenstelling tot heel veel andere instrumenten waar juist geld wordt geschonken. FMO kan iedere euro opnieuw uitgeven en doet dat ook. Stel dat we concluderen dat die ene euro nu geen effect heeft gehad, dan kan het de volgende keer weer anders zijn. In de evaluatiemethodiek wordt alles over een kam geschoren, terwijl er een enorm verschil zit tussen geld eenmalig uitgeven of terugkrijgen. In de fondsen van FMO die worden genoemd zit nu bijna een miljard euro. En dat geld blijft  FMO opnieuw investeren.’

‘Wanneer je een euro investeert, deze een bepaalde impact heeft en je hem uiteindelijk terugkrijgt en herinvesteert, dan is je ontwikkelingsimpact veel groter. Je rendement op elke besteedde euro is dan volgens mij heel anders. Daarmee heb je per definitie een hogere impact per euro. Het IOB kijkt naar één kant en laat buiten beschouwing dat het geld weer terugkomt, waarna het proces zich herhaalt.’

Additionaliteit

Een ander twistpunt is dat van additionaliteit. De kritiek luidt dat FMO, wanneer het een lange termijnfinanciering geeft aan een bank,onvoldoende onderbouwt of er geen andere, commerciële bankgeld had kunnen worden verstrekt. Daarbij komt dat het haar investeringen in meer ontwikkelde landen onvoldoende onderbouwt. ‘Ontbreekt die onderbouwing, dan zegt de IOB dat de additionaliteit  niet is bewezen’, stelt Kleiterp.Maar volgens hem moet in acht worden genomen dat additionaliteit een lastig te peilen ‘momentopname’ is.

‘FMO heeft bedrijven gefinancierd op een moment waarop deze echt geen lening van een lokale of internationale bank konden krijgen. Bij ons kunnen ze dan wel terecht, vijf jaar later doet zo’n bedrijf het goed en wordt er geconcludeerd dat het op dat moment van iedereen geld kan lenen. Waar komt dat door? Omdat FMO vijf jaar geleden, op het moment dat het additioneel was, besloot zaken te doen met dit bedrijf. Het bedrijf is gegroeid en heeft zich ontwikkeld, waardoor een paar jaar later meer banken krediet durven te verlenen. Dan is het natuurlijk niet meer additioneel. Daarom kun je alleen maar additionaliteit meten op het moment dat je de financiering opzet’, stelt Kleiterp.

‘Uiteindelijk gaat het erom dat FMO, als ontwikkelingsbank, zich na verloop van tijd overbodig maakt. FMO is dus dolblij als het iets financiert en na een poosje tot de conclusie komt dat de steun niet langer nodig is. Dan staat een bedrijf op eigen benen, heeft het ons niet meer nodig en krijgt het toegang tot andere markten. Kijk naar de Afrikaanse telecomindustrie, die is compleet opgezet met de hulp van ontwikkelingsbanken, want niemand wilde er destijds instappen. Zoals iedereen weet is het nu een van de grootste industrieën van het continent.’

Nieuwe evaluatierichtlijnen

Gevraagd naar de evaluaties die FMO zelf in de afgelopen jaren heeft uitgevoerd, vertelt Kleiterp dat sinds 2001 iedere vijf jaar projecten waarin FMO geld heeft gestoken extern worden geëvalueerd. ‘FMO heeft zelf het initiatief genomen om deze evaluaties uit te voeren. Dan bekijken we hoe de projecten waaraan wij krediet hebben verstrekt vorderen, of de groei naar verwachting is en of de sociale- en milieutechnische afspraken zijn nagekomen.’

‘In 2012 zijn er nieuwe afspraken gemaakt op basis van de inzichten die de IOB heeft opgedaan. Daarvoor bestonden er nog geen concrete afspraken op dit gebied en voldeed de methodologie van FMO ook niet aan de eisen van de IOB. In de FMO-evaluaties was niet terug te lezen welke families financieel bereikt zijn en op welke wijze zij het geld hebben uitgegeven. De zaken worden nu heel erg aangescherpt. De opdrachtgever zegt helder wat hij verwacht over die impactmeting en dat gebeurde in het verleden niet. De afspraak was toen: eens in de vijf jaar evalueren en die resultaten werden overlegd aan de Tweede Kamer.’

‘In lijn met wat de Franse econome Esther Duflo bepleit in haar boek Poor Economics, moeten er in de toekomst controlegroepen worden ingezet. Dat is een hele dure methode. Per geïnvesteerde euro kost je dat misschien wel tien cent. Als je je geld terug wil hebben en het efficiënt wil besteden, dan kun je daar vragen bij stellen.’

Dat maakt de vraag naar intensievere evaluatie meer politiek dan bedrijfseconomisch gedreven. ‘Daar zit het spanningsveld’, zegt Kleiterp. ‘De politieke vraag is natuurlijk heel logisch, de belastingbetaler wil weten waar het geld is gebleven en of het zin heeft om het op deze wijze te investeren. Die vraag is terecht en essentieel. FMO gaat dan ook voor een aantal projecten academische onderbouwing van haar impactmeting realiseren. Op deze wijze willen we meer inzicht verkrijgen en ons publiekelijk kunnen verantwoorden.’

‘Voor FMO is het zo, wij financieren bedrijven en als die het goed doen, dan is dat een hele belangrijke indicator dat het goed werkt. Maar we krijgen natuurlijk steeds meer inzicht waardoor er meerdere dingen ontstaan waar rekening mee moet worden gehouden. Het begrip impact is de afgelopen tien of vijftien jaar steeds belangrijker geworden. Je moet steeds meer meten. Ook omdat we weten dat alleen economische groei niet helpt. Er moet naar meerdere facetten worden gekeken. Een tijd terug was dat nog niet zo relevant. Toen werd er gedacht: als het economisch succesvol is, dan is dat voldoende om te bewijzen dat het goed gaat.’

2020

Op dat gebied heeft FMO zelf ook ambitieuze plannen voor de toekomst. In 2020 wil de ontwikkelingsbank een leidende impactinvesteerder zijn. ‘De trend onder investeerders, van particulieren tot instituties, is dat gezegd wordt: wij willen rendement, maar ook zien wat er met mijn geld is gebeurd. Vanuit dat oogpunt gaat FMO nu handelen’, vertelt Kleiterp.‘FMO wil bij verschillende partijen geld ophalen en dat voor hen investeren. Dan moeten we kunnen aantonen wat er met het geld gebeurt. Juist door onszelf te dwingen de impact te meten, willen we er voor zorgen dat de impactuiteindelijk verdubbeld. Daarnaast wil FMO dat onze investeringen de helft minder vervuilend zijn. Je moet niet alleen economisch groeien, maar ook op het gebied van duurzaamheid stappen zetten. Dit doel wil FMO in 2020 bereiken.’

‘Hiervoor wordt momenteel een meetraamwerk ontwikkeld, waarmee zowel de toename van werkgelegenheid als de vermindering van de uitstoot van broeikasgassen wordt gepeild. De ontwikkeling hiervan is heel ingewikkeld en FMO loopt hierin voor, dus moet het zelf van alles zien uit te vinden.Er zijn zaken die praktisch oncontroleerbaar zijn, maar wij willen dat de accountant dit straks gewoon kan controleren. Als hij het jaarverslag in handen krijgt moet hij kunnen zien dat zowel de financiële als de impactcijfers kloppen. Omdat accountants dat nog niet veel gedaan hebben, zit FMO nu met hen om tafel om te kijken hoe dit aangepakt moet worden. Je moet een keuze maken voor de variabelen die je wilt meten, waardoor je nu eenmaal moet abstraheren van de werkelijkheid. Dat betekent bijna per definitie dat je met een dergelijke methodiek niet aan de wetenschappelijke eisen voldoet, maar je maakt de uitgerekende cijfers wel zeer waarschijnlijk.’

‘Bovendien maak je transparant wat je wilt bewijzen en welke route je daarvoor kiest. Daarmee speel je ook in op de grootste kritiek van het IOB. Er zijn te weinig programma’s waarbij vooraf duidelijk is wat zij moeten bereiken. Daarom heeft FMO nu voor een lange termijndoelstelling gekozen, waarmee wij kunnen aangeven waar we heen willen en waarover wij verantwoording kunnen afleggen. Het raamwerk staat al voor het grootste gedeelte en per 1 januari moet het meetinstrument staan.’