Zo meet Vredeseilanden impact

Zo meet Vredeseilanden impact

14/03/2014

Om de drie jaar doen we bij Vredeseilanden een uitgebreide impactanalyse van onze ontwikkelingsprogramma's. Voor alle productketens waarin we werken (rijst, koffie,...), gaan we na of de betrokken boeren en boerinnen hun inkomens konden verbeteren, of hun leefomstandigheden erop vooruitgingen en of de ondernemerscapaciteiten van hun organisaties verbeterden. We hebben nu een inspanning gedaan om deze resultaten op een bevattelijke wijze weer te geven. Het is een eerste stap van een work in progress. Daarom staan we in deze blogpost graag even stil bij hoe we te werk gaan om de impact van ons werk te meten.

Boeren verdienen meer: dat is onze slogan en niet toevallig dus onze missie. Een beter inkomen voor boeren en boerinnen is dan ook het uiteindelijke doel van onze interventies. Om te kijken of onze acties daar inderdaad toe bijdragen, meten we de impact op drie dimensies:

  1. Inkomen en leefomstandigheden
  2. De ondernemerscapaciteiten van boerenorganisaties
  3. De bereikte opschaling: dit gaat over de vraag in welke mate andere spelers - grote ngo’s, bedrijven, overheden, boerenorganisaties - de lessen uit onze projecten overnemen en op grotere schaal toepassen.

De gegevens over de bereikte opschaling hebben we nog niet samengebracht in een overzicht. We hopen dit bij de volgende impactmeting wel te kunnen tonen. We gaan in deze bijdrage daarom enkel dieper in op de twee andere dimensies. Ten eerste gaan we in op hoe we inkomen meten. Ten tweede bespreken we hoe we een reeks aanverwante parameters meten die betrekking hebben op de ruimere leefomstandigheden van boeren. Ten derde bespreken we hoe we de ondernemerscapaciteiten van boerenorganisaties nagaan.

Leefomstandigheden: inkomen

De meest tastbare parameter om na te gaan of de leefomstandigheden van iemand erop vooruit gingen, is het inkomen. Hoewel het op het eerste zicht eenvoudig lijkt, komt er heel wat bij kijken om dit te berekenen. Boeren krijgen immers niet iedere maand een loonstrookje. Hun inkomen hangt af van hoeveel ze produceren, de prijs waartegen ze hun oogst kunnen verkopen en de kosten die ze maken bij de productie.

Uiteindelijk zijn we tot een uniforme manier gekomen waarmee wereldwijd in al onze programma’s de inkomens van boeren berekenen. Belangrijk om hier te vermelden, is dat we enkel het inkomen meten uit de productketen waarrond deze boeren samenwerken met Vredeseilanden. Wat ze verdienen met andere teelten of met een bijberoep als taxichauffeur, laten we buiten beschouwing.

De tweede grafiek onder het hoofdstuk inkomen geeft de “Simplified Gross Margin” (SGM) weer. Deze grafiek geeft de evolutie van de winstmarge weer die boeren realiseren op de teelt. Stijgen je kosten, dan krimpt die marge. Kan je een betere prijs realiseren, bijvoorbeeld omdat je onderhandelingspositie sterker is geworden, dan stijgt de marge.

Het SGM-percentage wordt berekent als volgt: ((verkoopprijs - directe kosten) / verkoopprijs) * 100. Ter illustratie: een SGM van 10% betekent dat je op elke dollar die je in dit product investeert, een marge van 10% haalt. Bij een SGM van 10% zal een boer die voor 800 dollar verkoopt dus een marge realiseren van 80 dollar.

Het blijft echter belangrijk om de Simplified Gross Margin-parameter samen te bekijken met het inkomen (Yearly net income derived from the chain). Het kan immers voorkomen dat het SGM-percentage daalt, terwijl het inkomen toch stijgt. Hoe dat kan? Wanneer boeren hun landbouwpraktijken verbeteren, is het gevolg dikwils dat ze veel meer produceren en tegelijk hun productiekosten drukken. In veel gevallen leidt dat ook tot een lagere marktprijs. Dan zal de het SGM-percentage dus dalen, hoewel de boer of boerin meer verdient door het grotere verkochte volume. Je merkt het: cijfers zeggen veel, maar zelden alles.

Leefomstandigheden: invloed, voedselzekerheid, weerbaarheid, etc

Naast het inkomen meten we een verwante reeks parameters die een rechtstreekse impact hebben op het dagelijkse leven. In de visualisatie kan je die één voor één aanklikken in het dropdown menu. Er verschijnt telkens meer uitleg bij de aangeklikte parameter. We lichten er enkele toe.

  • Invloed op handelsrelaties: Wat is de positie van boeren in de maatschappij en meerbepaald in hun handelsrelaties? Hebben boeren meer invloed in handelsrelaties of naar lokale overheden dan vroeger? Dat gaan we onder meer na door te kijken of boeren met hun organisatie er in geslaagd zijn samen een contract te onderhandelen.
  • Weerbaarheid tegen schokken (“resilience to shocks”). Hoe goed doorstaan boeren een slechte oogst of tegenvallende marktprijzen. Wordt er bijvoorbeeld een spaarkas aangelegd, worden inkomstenbronnen gediversifieerd?
  • Voedselzekerheid (food security): Hier stellen we de vraag hoeveel maanden boeren en boerinnen moeilijkheden ondervinden om hun gezin te voeden. Zijn er periodes dat ze maar twee, in plaats van drie keer per dag eten?
  • Duurzame omgang met de omgeving (sustainable way of dealing with the environment): Hoe evolueert het pesticide- en watergebruik? Worden er duurzame landbouwpraktijken gehanteerd? Wordt de bodemvruchtbaarheid op peil gehouden?

Voor elk van deze vragen wordt de vooruitgang tussen 2010 en 2013 weergegeven met een score +1, +2 of +3. Via het knopje schakel je tussen 2010 en 2013. Zo zie je de relatieve vooruitgang op die periode.

Ondernemerscapaciteiten

De derde visualisatie die u terugvindt, geeft de ondernemerscapaciteiten weer van de boerenorganisaties waarmee we samenwerken. Een belangrijk deel van de interventies van Vredeseilanden zijn gericht op het versterken van deze capaciteiten. Het is immers het fundament voor boeren om betere prijzen te verzilveren op de markt en dus hun inkomen te verhogen. Ook hier kan je in de visualisatie elke parameter apart aanklikken in het het dropdown menu.

We lichten enkele parameters toe:

  • Organisatiebeheer (group management skills): Hier gaan we na of het ledenaantal groeit, of er een democratisch verkozen bestuur is, of er lidgeld geïnd wordt bij de leden.
  • Zakelijke vaardigheden (business skills): Er wordt gekeken of er een doordacht business plan is, een boekhoudsysteem en of de organisatie voor eigen inkomsten kan zorgen.
  • Marketingvaardigheden (marketing skills): Is deze organisatie in staat collectieve verkoop te organiseren voor haar leden? Houdt ze data bij over kosten en opbrengsten? Is ze in staat marktanalyses uit te voeren en nieuwe opportuniteiten te grijpen?

Voor elk van deze vragen worden de antwoorden samengebracht op een schaal: very low, low, medium, high. Via het knopje schakel je tussen 2010 en 2013 om de relatieve vooruitgang te zien.

Dataverzameling

Nu stel je je wellicht de vraag: hoe wordt deze data verzameld en door wie? De belangrijkste landbouwketens worden doorgelicht door externe evaluatoren. Ze gaan op bezoek bij boeren en bij hun organisaties, doen individuele en groepinterviews en kijken in de boeken. Kwantitatieve gegevens over productie, marktprijzen en kosten worden aangevuld met kwalitatieve informatie uit workshops. Daarbij wordt een panel van boeren en boerinnen samengebracht om te reflecteren over wat er de voorbije jaren veranderde, in positieve of negatieve zin.

Verder gaat de evaluator nog langs bij de andere ketenactoren die betrokken zijn in het project. Dat kan bijvoorbeeld een theeverwerkend bedrijf zijn dat een contract sloot met theeboeren die ondersteuning krijgen van Vredeseilanden. Is dit bedrijf tevreden over het verloop van de samenwerking en de kwaliteit die boeren leveren?

Dataverzameling is een intensief proces en vergt een grote betrokkenheid van alle partners. We letten er daarom bijzonder op dat het proces nuttig is voor de betrokken boeren en boerinnen, en dat de evaluatie nieuwe inzichten oplevert waarmee ze zelf weer aan de slag kunnen.

De landbouwketens die niet door een externe evaluator worden doorgelicht, worden door onze eigen mensen volgens dezelfde methode doorgelicht. De concepten die gemeten worden zijn ook dezelfde.

Monitoring tussendoor

In dit stuk hebben we het enkel gehad over de driejaarlijkse impactmeting. Dat betekent niet dat er tussentijds geen monitoring gebeurt. Ons belangrijkste “instrument” daarvoor zijn onze lokale medewerkers die dag tot dag kijken of alles naar behoren loopt .

Om de 6 maanden wordt er daarvoor ook gericht data verzameld en overleg gepleegd met de boeren en belangrijkste ketenactoren om te beslissen waar er moet worden bijgestuurd. Hier gaat het over praktische gegevens zoals de productie per hectare, productiekosten, hoeveelheid inputs er gebruikt worden (water, meststoffen, pesticiden), kwaliteitsniveau van de productie, aantal (nieuwe) leden bij de boerenorganisatie, de gerealiseerde verkoop, enz. Er wordt tevens gekeken naar de capaciteiten, de rol en bijdrage van de boerenorganisaties.

Het verhaal achter de cijfers

Het verzamelen van data via impactmetingen en monitorsystemen is cruciaal, maar zulke cijfers vertellen slechts een stukje van het complexe verhaal dat ontwikkeling is. Wat je in een impactmeting ziet, zijn eindresultaten. Die zijn natuurlijk belangrijk, maar even belangrijk is het kennen van de context waarbinnen die veranderingen gebeuren. Welke gebeurtenissen en interventies en partners droegen precies bij aan positieve en negatieve resultaten?

Als je het inkomen van koffieboeren in Peru ziet dalen ten opzichte van 2013, wil je weten wat daar achter zit. In dit geval is het de roja-plaag die in de plantages woekert. Evengoed wil je in andere gevallen weten of het inkomen van boeren steeg omdat ze in staat waren betere contracten te onderhandelen, of omdat de marktprijs steeg door omstandigheden op de internationale markt.

De verhalen achter deze cijfers verzamelen we ook op een systematische wijze. De resultaten daarvan zijn nog in verwerking. We zullen deze de komende maanden toevoegen aan de grafieken.

De onzichtbare impact: leren

Tot slot willen we nog wijzen op de resultaten die moeilijker via metingen te vatten zijn. Dan hebben we het vooral over de dynamiek in het samenspel tussen boerenorganisaties, overheden, bedrijven en onderzoeksinstellingen. Net dat is een belangrijk onderdeel van ons werk: het samenbrengen van verschillende spelers om ieder op hun niveau te leren.

Boerenorganisaties willen leren hoe ze kunnen meespelen op veeleisende markten. Supermarkten en voedselverwerkende bedrijven willen leren hoe ze hun toeleveringsketens kunnen veilig stellen voor de toekomst door efficiënter en transparanter links te leggen met producenten. Die kennis bouw je het snelst op door concrete experimenten op te zetten. Onze collega’s spelen daarbij de rol van moderator en coach door voortdurend de bal rond tussen alle belanghebbenden om te kijken waarom sommige dingen werken en andere niet. De verzamelde data vormt daarbij een goed vertrekpunt, maar de dynamiek die daarop ontstaat is veel minder meetbaar.

Om die reden blijven we ook de lessen uit onze projecten documenteren in case study’s, zoals je die hier kan vinden. Deze studies gaan verder dan de cijfers en focussen in de diepte op de kwaliteit van samenwerkingen. Zulke case study’s zijn een belangrijk instrument om ook andere spelers te inspireren.

Work in progress

Zoals we al opmerkten bij het begin van dit stuk, zijn deze grafieken en visualisaties work in progress. Maar we denken dat het waardevol is om te experimenteren met manieren om deze gegevens op onze site te brengen. Enerzijds vanuit ons engagement tot transparantie en verantwoording, anderzijds omdat het een vertrekpunt kan zijn van boeiende discussies of nieuwe samenwerkingen. We zijn dan ook benieuwd naar jullie vragen en reacties.

Steff Deprez en Caroline Huyge zijn verantwoordelijk voor Planning, Learning & Accountability bij Vredeseilanden