Journalism

'Ā«Utviklingen som forsvantĀ»'

Bergens Tidende 18.des.2009.

Manglende resultater av norsk bistand skyldes også svak evalueringstradisjon.


På en av sine reiser besøker Kaptein Lemuel Gulliver et akademi for gale forskere. Forsøkene de utfører er besynderlige. Det som viser at de er gale er at forsøkene blir gjentatt, igjen og igjen, når de feiler. En forsker har i åtte år forsøkt å utvinne solstråler fra av agurker. Overbevist om å lykkes bedre i de neste åtte årene han ber han Gulliver om litt bistand – «siden agurker er kostbare på denne årstiden».

Jonathan Swift, forfatteren av denne satiren, ville ha følt seg hjemme i Oslo den 30. November. Da la Norad fram sin «Resultatrapport» for norsk bistand. Hvis mangelen på resultater uroer, lot de det ikke vise. Hvorfor kan så mange positive enkeltevalueringer føre til så lite utvikling? Samlet bistand til Afrika er anslått til trehundreogfemti tusen millioner kroner i året. Likevel er realinntekt per innbygger i dag lavere enn den var i 1970. Antallet fattige har doblet seg siden 1990. ’Utviklingen som forsvant’ er et av de store mysteriene i bistandsforskningen.


Tennis uten nett

Resultatene av Norges 26,2 milliarder kroner i bistand skal finnes i «Årsrapport for Evaluering av Norsk Utviklingssamarbeid». Det er denne rapporten Norad gjerne viser til når det påpekes at «Resultatrapporten» ikke egentlig er noen resultatoversikt, men en løst fundert betenkning. Evalueringsrapporten er tykk på adjektiver og tynn på tall. Hva som evalueres synes tilfeldig. Evalueringsdirektør, Asbjørn Eidhammer, slår seg til ro med at «det kan vere vanskeleg å slå fast konkrete resultat». Norads «storsatsing» mot korrupsjon avdekket 12 millioner på avveie, dvs 0,0004 % av et budsjett som i stor grad rettes mot verdens mest korrupte stater. Ikke imponerende.
Norad skryter ofte av at ingen offentlig praksis er mer gjennomevaluert en bistand.

Så hvorfor vet vi da ikke mer? Noe av svaret ligger i at bistandskonsulentene ofte tar igjen i fartstid i bistandsindustrien, det de mangler i forskerkompetanse. En studie fra Chr. Michelsens Institutt viser den høyst variable kvaliteten på slike konsulentevalueringer. Bistandsevalueringer er blitt en global industri preget av lettvint og ukritisk arbeid. Robert Frost har sagt at å skrive poesi i ubunden form, er som å spille tennis uten nett. Det samme kan kanskje sies om å evalueres av en tidligere kollega.


Noe må da virke

Konklusjonene i evalueringene har i de senere år blitt stadig mer duse. Kanskje som et resultat av at utviklingen i utviklingslandene får det høye ambisjonsnivået i giverlandene til å virke oppblåst. I dag konkluderer de aller fleste med variasjoner på temaet «her har mye gått bra, men enkelte ting har ikke gått fullt så bra og dette bør følges nøye framover». Denne praksisen fører med seg et åpenbart problem. Hvis alle initiativer får samme skussmål er det jo umulig å bruke dem som rettesnor for å rette pengene dit de gjør mest nytte? Norge «løser» dette med å spre bistanden tynt i mange sektorer og mange land. Noe må da virke.

Mye har blitt sagt mye om de gjensidige avhengighetsbåndene innad i den norske bistandslobbyen. Det er hevet over tvil at elitesirkulasjon og kameraderi har utviklingshemmet kritiske perspektiver. Eyolf Jul-Larsen, og Astri Suhrke, seniorforskere ved CMI nylig foreslo «å skape et genuint program for kritisk bistandsforskning opptatt av grunnleggende problemstillinger om årsak og konsekvens, ansvar og politiske koblinger». Jeg slutter meg til dette og kan for egen regning legge til at vi trenger økt fokus på kvantitativ analyse.


Brannmur mot idealisme

I Norge kan ikke noen reseptbelagt medisin – selv ikke mot liktær – bli solgt uten bevis for at den er «trygg og virkningsfull». Den avtalte offentlige standarden for beviselig effekt og sikkerhet er en kontrollert, randomisert dobbel-blind evaluering (RTC). Dette er for å forsvare legestandens første bud: «først, gjør ingen skade». Bistand på avveier skader ofte mottakeren gjennom å avle korrupsjon, kortslutte markedsmekanismer og svekke folkestyre. Det er noe av grunnen til at de som har fått mest, ikke gjør det best.

RTC er også en brannmur mot blind idealisme. I norsk bistandskultur sees erfaringsbasert innsikt på som den høyeste form for innsikt. Det antas at «feltarbeid» i et gitt afrikansk land gir uangripelig innsikt i dette landets anliggender. Problemet er bare at informasjonsbærerne ikke kun videreformidler hva de har sett – de fortolker også. Et eksempel. Norads rapportør forteller i 1989 og oppmuntret Norge til å støtte Mugabes ekspropriering av den hvite minoriteten. Vi vet i dag at dette var startskuddet for avviklingen av rettstaten. Afrika har vært gjenstand for norsk tankegods som vi aldri ville drømt om å slippe til her hjemme.


Bedre bistand

Norad har ikke tatt til seg ny-positivismen. Det er enda ikke stuerent å si at RCT er et mindre usikkert grunnlag at treffe budsjettbeslutninger på enn enkeltstående resultatmålinger, tidsseriestudier, eller målinger av tilfredshet. En del avforklaringen på dette kan finnes i forskjeller i fagdisipliner, deres selvforståelse og forståelse av viten. Et eksempel er forskjellen mellom leger - som blir skolert i å forholde seg kritisk til egen praksis på bakgrunn av en tydelig forståelse av årsakssammenhenger - og antropologene som utgjør flertallet av utviklingsforskerne. For ofte har «metodefrihet» blitt til «frihet fra metode».

Forskerne Esther Dufflo og Michael Kremer påpeker at historisk sett har slik RTC-analyse utgjort en forsvinnende liten del av bistandsevalueringer. Selv om mange satsingsområder ikke kan evalueres på denne måten er det et stort antall prosjekter som kan det. Ved hjelp av kontrollgrupper og tallfesting av spesifikke målsettinger som ‘hvor mange barn kan lese’ og ’hvor mye har gjennomsnittsinntekten økt’ kan snu fokus fra betalingsvilje (som det ikke skorter på i Norge) og til faktiske resultater (som det skorter på). Tallknuserne kan gi bedre informasjon om hvilke bistandsprogrammer som virker, og hvilke som ikke gjør det. Slik kan Norge bistå med kunnskap til bedre bistand for givere – og mottakere.

Asle Toje (Dr.Phil.) er utenrikspolitisk forsker og kommentator