Ø&I Årgang 32 nr. 3: Innovationsevaluering – når resultatmålinger understøtter reel innovation

Helle Vibeke Carstensen er cand.rer.soc., MBI og kontorchef i Socialforvaltningen i Københavns Kommune. Ulf Hjelmar er ph.d. og forskningsprogram- leder i KORA, Det nationale institut for kommuners og regioners analyse og forskning. Lene Krogh Jeppesen er cand.scient.soc. og chefkonsulent i COI, Center for Offentlig Innovation. 

A. Indledning

1. Baggrund

I det offentlige bøvler man stadig med effektmåling og evaluering af innovation og går dermed glip af at få det fulde udbytte af innovationsbestræbelserne. Der er rigtig mange gode eksempler på vellykket innovation, som gavner borgerne lige der, hvor innovationerne sker. De kunne gavne mange flere, hvis man var bedre til at evaluere og dermed havde bedre grundlag for at sprede innovation. Mange innovationsbestræbelser vil også blive mere vellykkede, hvis evaluerings- tilgangen kobles tæt til innovationstankegangen, så der dermed kan fokuseres på at udvikle nye løsninger, som samtidig har mest mulig effekt. Det betyder, at der er brug for en ny og mindre lineær måde at evaluere på. Evaluator skal være med på holdet, og evaluering skal foregå som en integreret del af innovationsprocessen. 

Dette understreges også i forskningen på området. Evalueringsog innovationsforskeren Burt Perrin har præcist formuleret dette: »Traditionelle evalueringsmetoder, herunder de fleste resultatmålingstilgange, hæmmer snarere end at støtte reel innovation« (Perrin 2002). Perrin går endda så langt som til at fastslå, at traditionelle evalueringsmetoder »straffer innovation og dem, der udforsker det ukendte ... og belønner middelmådighed« (Perrin 2002). Det man har brug for, ifølge Perrin, er en evalueringsforståelse og konkrete evalueringsredskaber, som er i overensstemmelse med innovationens karakter.

»Evaluering« og »innovation« er to professionelle akademiske discipliner, der, indtil for nylig, har udviklet sig ad to separate spor (Diez 2001). I løbet af de seneste 15 år – og med udgangspunkt i Perrins arbejde (2002) – har der imidlertid været et stigende fokus på at udvikle evaluering på et teoretisk og praktisk plan for at forstå den dynamiske og systemiske karakter af innovationer i den offentlige sektor (Hicker og Zuiker 2003. Arnold 2004; Larosse 2004; Christensen 2012; Hansson et al 2014). Fælles for disse bidrag er et forsøg på at udvikle tilgange, der omfatter både det rationelle perspektiv på evalueringer og den systemiske eller kontekstuelle karakter af innovation.

Det fælles udgangspunkt i denne forskning er, at det er meget vanskeligt, hvis ikke umuligt at anvende en lineær årsag-effekt model mellem input og aktiviteter på den ene side og resultater og effekter af en intervention på den anden side, sådan som det typisk forudsættes i traditionelle evalueringsmodeller (Diez 2001). Innovation er per definition uforudsigelig, og det er ikke muligt at definere præcise mål i forvejen, som evaluator kan følge op på. Desuden er effekten af innovation typisk medieret gennem et tæt samspil med mange andre aktiviteter, som gør en årsag-effekt-analyse endnu vanskeligere (Perrin 2002).

Evalueringer af innovationsprocesser kan ikke planlægges og programmeres på forhånd, men skal (gen)tænkes og (gen)formes som interventionen udvikler sig. Evalueringsaktiviteter skal udvikles i takt med, at innovationsaktiviteterne udvikles (Boyd et al 2007).

For at fremme dette mål er tre parter gået sammen om at udvikle en enkel ramme for innovationsevaluering med tilhørende redskaber. Målet med innovationsevaluering er, at den kan medvirke til at øge organisationens innovationsevalueringskapacitet og bruges af medarbejdere med innovationseller evalueringskompetencer, uden at de behøver at mestre begge fagdiscipliner.

De tre parter er Center for Offentlig Innovation (COI), KORA og Københavns Kommune. I COI arbejder man som nationalt center for øget kvalitet og effektivitet i den offentlige sektor gennem innovation. KORA er et analyseog forskningsinstitut, der arbejder med at fremme kvalitetsudvikling, bedre ressourceanvendelse og styring i den offentlige sektor. En af de helt store udfordringer i dette arbejde er at få evalueringsarbejdet til at spille tæt sammen med innovationstiltag. I Socialforvaltningen i Københavns Kommune arbejder man på det praktiske niveau med at måle effekterne af innovation for at nå i mål med innovationen, og for at have et bedre grundlag for at skalere og sprede innovationen.

2. Formål og problemstilling

Innovationsevaluering er udfordrende. Evaluering har en tendens til at gribe om sig og dermed blive afskrækkende ressourcekrævende og derudover blive koblet fra innovationsprocessen. En praktisk tommelfingerregel siger, at man skal anvende mellem 2-8 procent af ressourcerne på evaluering (Dahler-Larsen 2016). Der er behov for en faglig afklaring af, hvordan man sikrer en skarp innovationsevaluering, som kan fungere i en praktisk virkelighed i den offentlige sektor.

Evaluering kan løfte innovationen op på et højere niveau, gøre den bedre, mere skalerbar og spredningsegnet, samtidig med at værdien nemmere kan formidles til beslutningstagere, kolleger, samarbejdspartnere og borgere. De oftest anvendte evalueringsmodeller egner sig imidlertid bedst til lineære processer og forløb, og dermed risikerer cirkulære innovationsprocesser at stå sig dårligt i kampen om de knappe ressourcer, fordi det er svært at evaluere og effektmåle, når man ikke på forhånd kan fortælle om udfaldet af innovationsprocessen (Carstensen 2012/13).

3. Metode

Arbejdet med at udvikle rammen for innovationsevaluering med tilhørende værktøjer er foregået i et »Arbejdende Fællesskab« med medarbejdere og ledere fra forskningsverdenen, stat, regioner og kommuner. Der har både været deltagere med innovationsviden og med evalueringserfaring. Alle var interesserede i at udforske fællesmængden mellem innovation og evaluering og få de to meget forskellige discipliner til at spille sammen.

Det Arbejdende Fællesskab forløb over tre workshops med fokus på forskellige aspekter af at evaluere innovation. Den første workshop satte rammen for forløbet og tog hul på drøftelser og udvikling af rammen for evaluering af innovation i forhold til definitioner, teorier og modeller. Deltagernes egne erfaringer blev sat i spil, og der blev præsenteret et udkast til en innovationsevalueringsmodel, som deltagerne skulle bidrage til at forbedre og udvikle for at identificere byggestenene til evaluering af innovation. Det skete med afsæt i en gennemgående case.

Den anden workshop fortsatte arbejdet med at teste en prototype for innovationsevaluering på den gennemgående case. Derefter blev der arbejdet med forskellige elementer i rammen for innovationsevaluering: Planlægning, roller, værktøjer samt en overordnet definition af rammen for innovationsevaluering.

I den tredje workshop blev deltagerne præsenteret for et udkast til en egentlig ramme for innovationsevaluering og nogle arbejdsskemaer til at evaluere innovation. Begge dele blev testet på workshoppen og efterfølgende revideret.

Efterfølgende blev rammen for innovationsevalueringen og de tilhørende arbejdsskemaer også testet blandt øvrige offentlige innovationsaktive. Praktiske guidelines og arbejdsskemaer blev derefter publiceret af Center for Offentlig Innovation (COI, 2016a). I denne artikel diskuteres de mere principielle problemstillinger på området i forlængelse af dette arbejde.

4. Oversigt over artiklen

Artiklen indledes med et afsnit B om udfordringerne ved evaluere innovation. Dernæst redegøres i afsnit C for de typer af evaluering, som kan understøtte innovationsbestræbelserne. I afsnit D præsenteres en ramme for innovationsevaluering. Afsnit E indeholder konklusionen.

B. Udfordringerne ved at evaluere innovation

1. Hvad er innovation?

Der er i gennem årene opstået konsensus om at definere innovation i den offentlige sektor som »en ny idé, som skaber værdi, når den er implementeret« (Bason, 2007). Definitionen har betydning for vores evalueringsbestræbelser. Når man definerer, at innovation skal give værdi, så er man nødt til at være skarp på, hvad der menes med værdier, og hvordan man måler værdier (evaluerer). At definitionen indeholder, at innovation skal være implementeret, har også betydning for evalueringen. Det betyder nemlig, at evaluering ikke kun skal foregå undervejs for at forbedre innovationen (en form for procesevaluering eller systemisk evaluering), men også til sidst for at vurdere, om innovationen er vel implementeret, og om implementeringen har medført de ønskede effekter (en form for virkningsevaluering).

2. Hvordan ser det ud med evaluering af innovation?

Den offentlige sektor skal fornyes, men det er ikke nok at sige, at man prioriterer innovation og laver innovative projekter – man skal også kunne godtgøre, at det er en klog måde at bruge skatteydernes penge på. Det kræver, at man måler effekten af det man gør og evaluerer, om det er en god måde at løse opgaven på. Imidlertid er det kun 44 % af de offentlige innovationer, som er evalueret (Lykkebo 2016). COI’s supplerende feltarbejde viser, at det typisk skyldes, at det opleves som besværligt at evaluere eller opleves som uforeneligt med innovationsprocessen. Evalueringerne fokuserer primært på læring i organisationen (84 pct.) og i mindre grad på at dokumentere effekten overfor beslutningstagere (21 pct.) eller kvalificere innovationsbestræbelserne (18 pct.) undervejs, f.eks. gennem midtvejsevalueringer (Lykkebo 2016).

C. Systemisk evaluering og virkningsevaluering

Evaluering skal tilfredsstille både behovet for, at innovationsprocesser løbende kan udfoldes (understøtte processen), og behovet for at måle på resultaterne og effektiviteten af indsatsen (vise virkningerne af indsatsen). Dette kræver, at evalueringstilgangen er fleksibel, lydhør og dynamisk samtidig med, at der indgår muligheder for at måle på virkninger og uddrage læringspotentialer. Evalueringstilgangen bør være fleksibel nok til, at man som evaluator er åben overfor uventede fund, som typisk finder sted i innovative processer (Weiss 1998; Perrin 2002).

Det understreges i forskningen på området, at det har en værdi for innovationsprocessen, at der er en løbende kontakt og involvering mellem evaluator på den ene side og praktikerne involveret i innovationsprocessen på den anden side. Evaluering af innovation skal være en real-time evaluering, som løbende følger innovationsprocessen, for at kunne tilpasse evalueringsaktiviteterne til den faktisk udøvede indsats (Dinesen og De Wit 2010; Dahler-Larsen 2016).

1. Systemisk evaluering – et samspil med innovative tiltag

Systemisk evaluering er et eksempel på en evalueringstænkning, som har til formål at understøtte den proces, som den har som sin genstand. Systemisk evaluering har sit videnskabsteoretiske udgangspunkt til fælles med biologien og hævder, at en innovativ intervention – som levende systemer – kontinuerligt skaber sig selv gennem sine egne handlinger (Boyd m.fl. 2007). Denne evalueringstilgang har dermed gode mulighedsbetingelser for at kunne indgå i et frugtbart samspil med innovative tiltag og konstant foranderlige udviklingsprocesser.

Systemisk evaluering antager, at processer er dynamiske og til dels uforudsigelige, og evaluering altså ikke har et fast genstandsfelt, som måleapparatet kan tilrettelægges efter (Dinesen og De Wit 2010). I systemisk evaluering søger man at tage højde for kompleksiteten og den specifikke kontekst for undersøgelsesfeltet og så tilrettelægge evalueringen på det grundlag. Det har som konsekvens, at den indsamlede evalueringsviden ofte er af kvalitativ karakter, og resultater af indsatsen typisk ikke har en mere generel og almengyldig karakter (Dozois m.fl. 2010; Hjelmar og Pedersen 2015; Patton 2011).

Man står som evaluator ikke uden for undersøgelsesfeltet. Det systemiske element indebærer, at man som evaluator er i tæt interaktion med undersøgelsesfeltet, og at valid viden skabes i denne interaktive proces. Konkret indebærer dette, at man som evaluator skal søge at fremme »evalueringsbevidstheden« i en innovativ proces. Hvad er formålet med indsatsen, og hvordan kan man måle om indsatsen fører til de ønskede formål? Typisk er der i innovationsprocesser tale om måluklarhed og målkonflikter, og der er et udtalt behov for en struktureret form for måldannelsesproces, og her kan evaluator spille en væsentlig rolle.

2. Virkningsevaluering

I den afsluttende fase af et innovativt forløb er der et behov for mere håndfaste konklusioner om virkning og effekt, og her kan virkningsevaluering supplere den systemiske tilgang.

En virkningsevaluering afdækker, hvorfor og hvordan en given indsats virker i en konkret sammenhæng. På baggrund af en sådan evaluering vil det være muligt at komme med et kvalificeret bud på, hvilke elementer og betingelser, der skal være til stede for at øge sandsynligheden for et succesfuldt resultat. Med en virkningsevaluering kan man på den måde opnå kvalificeret indsigt i, hvad der forbinder indsats og resultat (virkninger) på udvalgte områder (Dahler Larsen 2016).

Konkret kan der i den indledende udviklingsfase med fordel opstilles en programeller forandringsteori. Heri fastslås målgruppen, forventede resultater på kort sigt og langt sigt, og de aktiviteter, der skal lede frem til resultaterne. Fordelen herved er, at man i denne proces får afstemt de forskellige individuelle subjektive vurderinger af indsatsen og indsatsens mulige resultater, og det er en stor fordel i forhold til efterfølgende at kunne lave og anerkende værdien af evalueringen.

Virkningsevaluering er en »blød« form for effektevaluering, som kan kombineres med mere procesorienterede tilgange til evaluering, f.eks. en systemisk evalueringstilgang. Fordelen ved virkningsevaluering er, at den formår at indoptage og opstille forskellige typer af procesmål og effektmål i en form for målingshierarki, som kan bruges i et evalueringsøjemed. Nogle mål kan være procesmål, og andre mål kan være slutmål – men alle mål for indsatsen kan evalueres.

3. Behov for en innovationsevaluering

En vigtig læring er, at innovation kan evalueres, og det ikke er muligt at undskylde sig med kompleksitet og hensynet til, at innovationen ikke skal forstyrres (Patton 2010). Der findes eksempler på evalueringstilgange, som er åbne og procesorienterede (en systemisk evaluering), og der findes evalueringstilgange, som fokuserer på at uddrage virkninger af processen med udgangspunkt i en rummelig procesforståelse (virkningsevaluering).

Der er imidlertid behov for en mere samlet ramme for en innovationsevaluering, som rummer begge former for evalueringstilgange, både en systemisk evalueringstilgang og en tilgang inspireret af virkningsevaluering. Et forslag til denne præsenteres i det næste afsnit.

D. En ramme for innovationsevaluering

1. Præsentation af rammen

Rammen for innovationsevaluering indeholder fire faser. De to første faser lægger sig op ad en systemisk evalueringstilgang, og særlig den tredje fase lægger sig mere op ad en tilgang inspireret af virkningsevaluering.

Den første fase handler om at stille spørgsmål og afklare, hvorfor man vil evaluere sin innovation og at planlægge, hvordan man vil gøre det. Den anden fase handler om at skaffe evalueringsviden ved at indsamle og analysere data om innovationen og bruge det til at udvikle løsninger og sikre, at viden anvendes, så man får mest muligt ud af sin innovation.

Den tredje fase handler om at bruge viden til at evaluere proces og resultat på mere traditionel vis. Den fjerde fase handler om at sprede evalueringsviden, så man selv lærer af processen og så andre kan få glæde af innovationen. I tabellen nedenfor skitseres de forskellige elementer, der indgår i de forskellige faser. I de efterfølgende afsnit uddybes dette.

Evaluators rolle er anderledes end i traditionel evaluering, da evaluator i de første to faser er en del af holdet. Evaluator har som rolle at observere, hvad der sker samtidig med, at der søges viden, samles og tolkes data, stilles spørgsmål og gøres opmærksom på forgreningspunkter og hjælpes med at stille skarpt på de ønskede effekter. Evaluator vil derudover også have den samlende rolle, og lægge op til beslutninger på det fornødne beslutningsgrundlag. For at udfylde disse roller vil evaluator ikke blot skulle have kompetencer indenfor planlægning, design, data og analyse, men også om organisationsforståelse, kommunikation og interpersonelle evner og projektledelse (Krogstrup 2016).

2. Innovationsevalueringens faser

Rammen for innovationsevaluering tager udgangspunkt i systemisk evaluering, men den har også i de sidste to faser elementer fra virkningsevaluering. Det indebærer et skift i evaluators rolle undervejs i processen fra at være medskaber af innovationen til i højere grad at være dommer over innovationens succes. I praksis vil de fagligheder, som de forskellige roller indebærer, sjældent være forenet i samme person. Der vil derfor ofte være flere evaluatorer, som bidrager til innovationsevalueringen.

a. Fase 1. Stil spørgsmål

Godt begyndt er som bekendt halvt fuldendt. Det gælder også bestræbelser på at evaluere innovation, som starter samtidig med, at man former innovationsopgaven (Dahler-Larsen 2016). Det betyder, at første fase er fyldt med spørgsmål, der skal søges svar på. Det første spørgsmål er: Hvilke overordnede værdier sigter vi mod at skabe med innovationen? I starten af innovationsprocessen har man ofte et overordnet formål med innovationen eller en udfordring, som skal løses, uden man helt ved hvordan. Her hjælper det at beskrive, hvilke overordnede værdier man sigter efter med innovationen og overveje, hvordan man kan måle effekten af innovationen. Det kan f.eks. være de fem bundlinjer eller andet, som man normalt måler effekt efter. De fem bundlinjer handler om at måle effekten på organisationens produktivitet, borgernes retssikkerhed (både den reelle og den oplevede), borgernes serviceoplevelse, de udmeldte politiske mål og organisationens innovationskapacitet (Carstensen 2012/13).

Det er vigtigt at afstemme med beslutningstagerne, hvilken værdi innovationen sigter mod at skabe. Hvis man ikke er enige om det, så er det svært i sidste ende at evaluere på, om man har skabt innovation. Ligeledes skal der skabes grundlag for åbenhed, hvis innovationsbestræbelserne ikke går helt som håbet. Samtidig skal man søge at sikre den mulige læring og erkende, at man kan komme til at fejle hurtigt med initiativer, som viser sig ikke at virke.

Spørgsmålet om hvordan og hvornår evalueringen kobler sig til innovationsprocessen, og på hvilke tidspunkter i processen evaluering kan tænkes ind er også vigtigt at skitsere de første svar på. Det gælder om at få det til at passe sammen, så evalueringen ikke opfattes som en hæmsko eller byrde, men snarere en hjælper til at skabe den bedst mulige løsning. Det er hele tiden vigtigt at holde sig for øje, hvor lidt data man kan nøjes med for at gennemføre en evaluering.

Spørgsmålet hvorfor man vil evaluere innovation er også vigtigt at forholde sig til. Deltagerne i Det Arbejdende Fællesskab beskrev ud fra deres praksiserfaring forskellige grunde til at evaluere. Dialogen viste hurtigt, at deltagerne ønskede at blive bedre til evaluering for at retfærdiggøre, at man kontinuerligt bruger penge på innovation – og dermed kan man ikke blot fortsætte med at innovere uden at dokumentere effekterne og dele viden. Deltagerne ønskede også at udvikle endnu bedre innovative løsninger til borgerne ved at anvende data i processen til at udvikle de endelige løsninger og blive bedre til at følge op på prototyper og få dem ud over ildsjæle-stadiet ved at tage evalueringstankegangen ind i innovationsprocessen. Endeligt fandt deltagerne, at det er nødvendigt at dokumentere, hvad man har gjort undervejs for at kunne sprede innovationen. Denne sammenhæng findes også i innovationsbarometeret (Lykkebo 2016), som viser, at de, der har evalueret, mere aktivt gør noget for at sprede innovationen.

Et andet spørgsmål, der fyldte i Det Arbejdende Fællesskab var: Til glæde for hvem evalueres? Er det egen læring, chefen, politikerne eller borgerne? Forskellige modtagere af evalueringen har forskellige krav til, forventninger om og behov for viden om innovationens værdi. Det har betydning for valget af metoder til evalueringen og designet for evalueringen. Derfor skal man forholde sig til, hvad modtagerne af evalueringen skal bruge den til, om de løbende skal involveres i evalueringen, og hvordan evalueringen skal formidles til dem? Når man har gjort det, så kan man gå videre til at planlægge og beslutte, hvordan evalueringen skal foretages.

Spørgsmålet om, hvilke pejlemærker der kan opsættes for værdi, succeskriterier og indikatorer for innovationen er også væsentligt, da det giver retning for evalueringsprocessen og et rigtigt godt evalueringsgrundlag. Jo længere man kommer i innovationsprocessen, jo mere præcise succeskriterier kan opstilles, og ved at formulere succeskriterier fra start sættes retningen for innovationen, uden at denne bindes op på konkrete løsningskrav.

Når fase 1 er ved at være afsluttet, er det forhåbentlig muligt at supplere innovationens formål med mere konkrete mål, som man kan arbejde videre med i fase 2. Hvis man vælger at arbejde med en businesscase for innovationen, vil man også kunne begynde at etablere den i slutningen af fase 1, da man her er klar på formål og klarere på målene med innovationen, klar på hvilke effekter man vil opnå, og hvordan man måler det. Ønsker man det, kan en programteori (foran-dringsteori) skitseres (problem og formål i starten af fase 1 og i slutningen suppleres med input og aktiviteter). Man er klar til at gå videre til fase 2, når man har udforsket sin innovationsproblemstilling og er klar til at udvikle og prøve løsninger af (prototyper).

b. Fase 2. Skaf og brug evalueringsviden

I denne fase indsamler og analyserer man viden om innovationen, samtidig med at man søger at videreudvikle de innovative tiltag. På baggrund af det innovative forløb i fase 1, så er der i fase 2 fokus på, hvilke aktiviteter, som kan medvirke til at opfylde formålet med innovationen, og hvordan man kan teste de udviklede løsninger (prototyper).

I fase 2 indgår spørgsmålet om, hvordan virkningen af innovationen kan måles, og hvilke konkrete målemetoder man skal anvende. Evalueringen bliver mest valid, når man vælger de metoder, som giver de bedste data til at besvare evalueringsspørgsmålet. Valget afhænger af, hvad metoderne bedst egner sig til, hvilke krav, der stilles til datatyper, ressourceforbrug i evalueringen, samt tidsperspektivet. Det skal også afklares, hvilke eksisterende data der er til rådighed, og hvilke data der skal indsamles. Der skal også tages stilling til, om man arbejder med en kontrolgruppe, og om man etablerer en baseline.

En kontrolgruppe og en baseline virker som sammenligningsgrundlag i evalueringen. Ved en kontrolgruppe arbejder man med to grupper af personer. Den ene gruppe udsættes for det innovative tiltag, mens den anden gruppe fortsætter, som den plejer. Når data efterfølgende sammenlignes kan man vurdere om det innovative tiltag har skabt værdi. Ved etableringen af en baseline skal man ideelt set sørge for at lave en måling, før man går i gang med innovationsarbejdet. På den måde kan der løbende og afslutningsvis sammenlignes med startmålingen (baseline) og følges op på, om innovationsarbejdet skaber værdi.

Evalueringen er primært systemisk funderet i denne fase, da det grundlæggende sigte er at understøtte innovationen gennem etablering af en form for måleeller evalueringsbevidsthed. I denne fase etableres grundlaget for at kunne foretage virkningsevaluering i fase 3.

Det er vigtigt, at man afklarer, hvem der har evaluatorrollen og dermed er tovholder for evalueringen. Tovholderen skal sikre, at alle ved, hvad, hvordan og hvornår der evalueres, og at det faktisk sker. Evaluators rolle og opgaver besluttes. Evaluator er fortsat en del af holdet, men skal være opmærksom på at holde en armslænge til undersøgelsesfeltet – og observere, hvad der sker. Evaluator bistår med at søge viden og samler og tolker data, stiller spørgsmål og gør opmærksom på forgreningspunkter og hjælper med, at der styres efter de ønskede virkninger. Evaluator skal også have øje for det uventede, altså der hvor der pludselig er en gavnlig effekt eller et uventet problem, som man ikke har forudset eller tænkt på. Erfaringen viser, at sådanne sidegevinster ofte er en del af innovationsprocessen – og derfor gælder det om at fange dem og får dem brugt og formidlet til beslutningstagerne.

Evaluator begynder endvidere at fastlægge årsag-effekt-kæde til brug for virkningsevaluering i fase 3. Arbejder man med programteori (forandringsteori), kan denne videreudvikles, således at problem, formål, input og aktiviteter samt forventet output og ønskede effekter kan beskrives. Forandringsteorien er tidligst færdigformuleret i starten af fase 3.

Man er færdig med denne fase, når de innovative løsninger (prototyper) er færdigudviklet, og man har etableret et evalueringsgrundlag, som man kan arbejde videre med i fase 3.

c. Fase 3: Evaluer proces og resultat

Evaluator har i de to første faser som en del af innovationsholdet hjulpet med at validere beslutninger, metoder eller antagelser og understøttet forståelsen af det problemfelt, man har arbejdet med. I fase 3 er evaluator ikke længere en del af holdet, men er snarere en form for objektiv observatør i forhold til de igangsatte indsatser.

Evaluator tager i denne fase udgangspunkt i den fastlagte årsageffekt-kæde til brug for evalueringen (forandringsteori udarbejdet i fase 2). Det betyder, at evaluator både kigger på processen (hvor godt er den udført) og resultatet (hvorved innovationen skabte den ønskede effekt). På baggrund af den udarbejdede forandringsteori kan man konkludere noget omkring implementeringen af indsatsen og de forventede virkninger af indsatsen. Typisk kræver positive resultater af en indsats to ting: En vellykket implementering af indsatsen, og at de forventede virkninger af det innovative tiltag var realistiske.

Nogle gange vil man opleve, at der ikke er tale om innovation. Det er der, hvor det, man har udviklet, ikke skaber den fornødne værdi i praksis. Dermed er alt ikke spildt. Man har alligevel opnået værdifuld viden om, hvad der ikke virker og sparet skatteyderne for penge ved at evaluere i stedet for blot at sætte en ny virkningsløs praksis i værk.

d. Fase 4: Lær, brug og spred viden

Gennem de tre faser har man opnået stor viden om innovative løsninger, og hvordan man opnår dem. Den viden bør anvendes til at skabe andre innovative løsninger internt i en organisation, men den bør også spredes, så andre i den offentlige sektor kan få glæde af den opnåede viden.

For at formidle viden skal man have fat i det, man fandt ud af i fase 1, om modtagernes behov og ønsker og sikre sig, at man formidler det relevante til rette modtager. Dernæst skal viden om innovationsprocessen anvendes til at øge organisationens innovationskapacitet, så man sikrer sig, at den næste innovationsproces bygger videre på det lærte. Der er både tale om læring i forhold til ny praksis på et givet område, men f.eks. også om medarbejdernes kompetencer og incitamenterne til innovationsbestræbelser (Carstensen 2010).

Endelig er der mulighed for at skalere innovation til andre steder i organisationen og sprede den til andre organisationer. Spredning er sket, når en løsning, der er udviklet, implementeret og har skabt værdi et sted, efterfølgende implementeres i en anden organisation. Til den proces kan man f.eks. lade sig inspirere af COI’s spredningsguide (COI 2016 b).

E. Konklusion

I denne artikel har vi søgt at skabe en ramme for innovationsevaluering, som er enkel at anvende i praksis, og som skaber en fælles forståelse og tilgang til evaluering og innovation. Rammen tager således livtag med, at innovation og evaluering oftest opfattes som et umage par, fordi innovation opfattes som foranderlig, uforudsigelig og fremadskuende, mens evaluering opfattes som systematisk og tilbageskuende. I rammen evalueres der både løbende for at understøtte og kvalificere innovationsprocessen undervejs og til sidst for at sikre, at resultatet faktisk blev en innovation. Det sker ved at kombinere systemisk evaluering og virkningsevaluering.

Evaluators rolle er dermed anderledes end i traditionel evaluering. Evaluator medvirker til at afklare målene med innovationen og delta-ger i innovationsprocessen i form af at levere data i løbet af innovationsprocessen. Det er data, der hjælper med at validere beslutninger, metoder eller antagelser og understøtter forståelsen af det problemfelt, man arbejder med i innovationsprocessen. Evaluering understøtter og validerer dermed innovationen.

Der samles også data, som bruges til at dokumentere innovationsprocessen og innovationen af den eksterne evaluator i fase 3. Ved at indsamle og dokumentere undervejs øges troværdigheden, og man kan spore hvilke valg, der er truffet, og betydningen heraf og det kan i øvrigt hjælpe den, som vil inspireres af innovationen.

Der er behov for innovationsevaluering. Selv i organisationer med en overordnet strategisk indsats for innovation (fx i form af en strategi eller en innovationsenhed) er evaluering ikke en selvfølge. En undersøgelse på området viser, at det faktisk ikke gør nogen forskel på tilbøjeligheden til at evaluere, om man har en strategisk innovationsindsats eller ej (Lykkebo 2016: 211-2). Det understreger, at evaluering ikke er en indarbejdet praksis i innovationsindsatser, og at der er behov for et fortsat fokus og udviklingsarbejde i forhold til innovation og evaluering.

Litteratur

Arnold, E. (2004). Evaluating research and innovation policy: a systems world needs systems evaluations. Research Evaluation (vol.13(1)). 3-17.

Bason, C. (2007): Velfærdsinnovation, Børsen.

Boyd, A., T. Geerling, W.J. Gregory, C. Kagan, G. Midgley, P. Murray & M.P. Walsh (2007). Systemic Evaluation: A Participative, Multi-Method Ap- proach. The Journal of the Operational Research Society (vol. 58(10)): 1306- 1320

Carstensen, H.V. (2010): Skatteministeriet – et innokrati. Administrativ Debat. Carstensen, H.V. (2012/13): Effektmåling og evaluering af innovation i SKAT. Økonomistyring og Informatik 28. årgang 2012/2013 nr. 5.

Christensen, J.L. (2012). Innovation policy evaluation – challenges and roads ahead. ISBE 2012 Conference proceedings: 1-16.

COI (2016a): Grønspættebogen. Til dig der skal evaluere innovative tiltag. COI, København. coi.dk/evaluering

COI (2016b): Spredningsguiden. Gør det nemt at dele og genbruge innovation.

COI, København. coi.dk/spredningsguiden

Coffman, J, and Beer, T.C. (2011): Evaluation to support strategic learning: Principles and Practices. Center for Evaluation, Washington D.C.

Dahler Larsen, Peter (2016): Vejledning om at evaluere innovative tiltag. Center for Offentlig Innovation. coi.dk/evaluering

Diez, M.A. (2001). The Evaluation of Regional Innovation and Cluster Policies: Towards a Participatory Approach. European Planning Studies, Vol. 9, No. 7: 907-923.

Dinesen, Malene og De Wit, Camilla K. (2010): Innovativ evaluering. Dansk Psykologisk Forlag.

Dozois, E., Langlois, M. & Blanchet-Cohen, N. (July 2010): A Practioner’s Guide to Developmental Evaluation. The J.W. McConnel Family Foundation and International Institute for Child Rights and Development. Montreal, Can- ada.

Hansson, F., M.T. Norn & T.B. Vad (2014). Modernize the public sector through innovation? A challenge for the role of applied social science and evaluation. Evaluation (vol. 20(2)). SAGE Publications: 244-260.

Hickey, D.T. & S.J. Zuiker (2003). A new perspective for evaluating innovative science programs. Science Education (vol. 87(4)):539-563.

Hjelmar, U. og P.V. Pedersen (2015): Kompleks evaluering – tre metodiske læ- ringspunkter fra en case. Metode & Forskningsdesign, nr. 2, 2015: 1-25.

Krogstrup, H.K. (2016). Evalueringsmodeller. 3. udgave. Hans Reitzels Forlag. København, Danmark.

Larosse, J. (2004). »Conceptual and empirical challenges of evaluating the effec- tiveness of innovation policies with ‘Behavioural Additionality’ (the case of IWT R&D subsidies)«. I: Georghiou, L., B. Clarysse, G. Steurs, V. Bilsen V & J. Larosse: Making the Difference, The Evaluation of ‘Behavioural Additi- onality’ of R&D Subsidies. IWT-Observatory, Brussels.

Lykkebo, O.B. (2016): Innovationsbarometeret. COI og Jurist og Økonomfor- bundets Forlag, København. coi.dk/innovationsbarometer.

Patton (2010): Developmental Evaluation. Applying Complexity Concepts to En- hance Innovation and Use. Guilford Press, New York.

Patton (2011): How to evaluate interventions in complex dynamic environments: Developmental Evaluation. http://mymande.org/sites/default/files/Feb28- 2012_MQPatton.pdf

Perrin, B. (2002). How to – and How Not to – Evaluate Innovation. Evaluation (vol. 8. no. 1). SAGE Publications: 13-28.

Preskill, H. & Beer, T. (2012): Evaluating Social Innovation. Center for Evalua- tion, Washington D.C.

Weiss, C.H. (1998): Have we learned anything new about the use of evaluation? American Journal of Evaluation 19(1): 21-33.