Att utvärdera utvecklingsprojekt

För att uppnå ett aktivt ledarskap, effektiv projektstyrning och tydlig ledning i komplexa och oförutsägbara samhälleliga utvecklingsprojekt är utvärdering och lärande helt avgörande. Utvecklingsansvariga ska vara informerade om kunskapsläget när nya projekt initieras. Politiker bör ha god översikt när de prioriterar projekt. Ägare och styrgrupper måste hålla sig uppdaterade om projektens framdrift.

Projektledningen ska kunna styra om när projekt genomförs och förutsättningarna i omvärlden förändras. Inom exempelvis EU:s strukturfondsprogram i Sverige genomförs mer än 5 000 projekt för över 40 miljarder kronor under sex år. I hela EU kommer över två miljoner projekt för mer än 1 000 miljarder euro att genomföras 2014–2020.

Fortlöpande utvärderingar för att styra dessa projekt så att de verkligen bidrar till målen om smart och hållbar tillväxt för alla är avgörande för om dessa investeringar (som ändå bara är en bråkdel i jämförelse med bankstödet) ska få Europa konkurrenskraftigt igen. Robusta utvärderingar handlar ytterst om att finna evidens, det vill säga bevis för vad som fungerar och inte fungerar.

Att utvärdera utvecklingsprojekt är svårt
Att utvärdera komplicerade samhälleliga utvecklingsprojekt som ska bidra till innovationer och entreprenörskap, regional attraktivitet och bättre infrastruktur, nya jobb och kompetensutveckling är svårt. Den främsta svårigheten ligger i att skapa en kontrafaktisk situation, vilket är en nödvändighet för att mäta en effekt.

Enklast vore om man kunde formulera utvärderingsbara mål för projekten i linje med de så kallade SMARTkriterierna, det vill säga mål som är Specifika, Mätbara, Antagna och Accepterade, Realistiska och Tidsatta. Problemet ligger i att det finns så många olika faktorer som påverkar de förhållande man vill förändra med utvecklingsprojekten, inte minst omvärldsfaktorer. Det finns inget som är så praktiskt som en bra teori, hävdade Kurt Lewin.

Innevarande programperiod 2007–2013 anvisade EU-kommissionen så kallad ongoing evaluation, vilket benämndes ”lärande utvärdering genom följeforskning” i Sverige. Denna utvärderingsansats har visat sig bli allt för mycket processorienterad, men allt för lite kunskapsgenererande om vad som fungerar och vad som inte fungerar.

För att få kunskap om effekter med rimlig säkerhet behöver man ha någon slags teori som vilar på den kunskap och de erfarenheter man har. De olika utvecklingsprojekten måste för det första vila på en klar förändringsteori, man måste från början ha en tydlig föreställning om vad man vill uppnå med projektet och hur det ska gå till.

För det andra bör denna föreställning vara grundad i vetenskaplig teori och beprövad erfarenhet. Någon annan grund har vi inte för att veta om vi gör rätt eller inte. Traditionell utvärdering har tyvärr gett sken av att det skulle kunna finnas ett teknokratiskt förfaringssätt – en så kallad magic bullet att avfyra, för att ta reda på om ett projekt gjorts rätt eller inte.

En sådan kula finns inte – inte ens en sådan glaskula att skåda in i – även om många projektutvärderare låtsas det. För det tredje bör projektet ge upphov till ny generaliserbar kunskap, det vill säga ny praktiskt omsättbar teori så att andra kan lära sig om och från projektet. Vilka utvärderingsansatser kan möta dessa krav?

Teoribaserad utvärdering
I den kommande antologin Att fånga effekter av program och projekt framhåller EU-kommissionens Marielle Riché att det inför programperioden 2014–2020 är dags att ta nya steg för att etablera en evidensbaserad utvärderingskultur i Europa. Hon menar att teoribaserade utvärderingar är särskilt relevanta för beslutsfattare, eftersom de förklarar varför en insats fungerar eller inte fungerar i ett givet sammanhang. Detta möjliggör en generalisering av insatser och metoder för utveckling.

Den teoribaserade utvärderingens potential har inte utnyttjats tillräckligt i de projekt som stöds av strukturfonderna vilket är synd med tanke på att dessa har som mål att testa nyskapande och experimentella insatser.

Bädda för effekter
I utvärdering av utvecklingsprojekt bör man faktiskt se om man kan bädda för goda oväntade och ”slumpmässiga” effekter. Den teoribaserade utvärderingen som bygger på att alla inblandade – från finansiärer till projektledare – fortlöpande lär sig från allt mer förfinade kunskaper och erfarenheter av projektgenomförande gör det möjligt att bädda för positiva effekter.

Att leta efter serendipiditeter (oväntade tillfälligheter) handlar om att leta efter den borttappade nyckeln under gatlampan, eftersom det är där det lyser. Och det kan finnas anledning att göra just det, leta under gatlampan. Antagligen är det där man har stått och det är där som den goda slumpen gör det möjligt att faktiskt hitta den, om den skulle ligga där!