Vi skal evaluere samskabelse

Hvis det store potentiale i samskabelse skal udnyttes, kræves en systematisk brug af evaluering. De etablerede evalueringsmetoder kommer imidlertid til kort over for samskabelsens ’emergente’ karakter, som betyder, at problemforståelser, målsætninger og løsningsforslag løbende forandres. Forskningen har imidlertid udviklet et nyt bud på, hvordan vi kan evaluere emergente samskabelsesprocesser. Her gives en kortfattet beskrivelse af problemstillingen og ideen bag den nye form for udviklingsorienteret evaluering (’developmental evaluation’).

Evaluering øger udbyttet af samskabelse

Både blandt politikere, embedsmænd og borgere er en udbredt skuffelse over såvel det offentlige bureaukratis som de private markeders evne til at løse presserende samfundsproblemer. Det har stimuleret interessen for samskabelse, hvor to eller flere parter samarbejder om at definere problemer, designe nye og innovative løsninger, og realisere dem i praksis.

Nogen tror måske, at samskabelse er fri leg, uforpligtende samarbejde og kreative processer, der alene har til formål at tilfredsstille deltagernes behov for selvudfoldelse. De tager fejl. Samskabelse er komplekse og krævende samarbejdsprocesser, hvor aktører med forskellige perspektiver forsøger at finde nye og bedre løsninger på genstridige problemer, og bidrager aktivt til implementeringen. For at sikre, at anstrengelserne bærer frugt, skal der foretages en løbende evaluering af samskabelse.

New Public Management har skabt en benhård evalueringskultur i den offentlige sektor, der betyder, at det efterhånden kun er det, der måles og vejes, som det er legitimt at bruge offentlige midler på. Offentlige ledere og medarbejderne er således underlagt et stort pres for at udsætte samskabelsesprocesser for den samme form for ’performance management’, som anvendes i resten af den offentlige sektor.

Tilhængere af samskabelse som en offentlig løsningsstrategi hævder imidlertid, at samskabelse er baseret på komplekse lærings-, samarbejds- og innovationsprocesser, der ikke bør gøres til genstand for procesevaluering og resultatmåling, som kan risikere at ødelægge de kreative og tillidsbaserede processer ved at skabe et kontrolfikseret evalueringsregime.

Det vil bestemt være uheldigt, hvis frivillige deltagere i en samskabelsesproces bliver bedt om at registrere deres timeforbrug, tælle hvor mange møder de deltager i, og opgøre antallet af nye forslag og ideer, som de er med til at generere. Det vil givetvis få mange af dem til at løbe skrigende bort, eller blive så stiktossede, at samskabelsesprocessen vil lide alvorlig skade.

Jeg vil alligevel insistere på, at samskabelse både skal og kan underkastes systematisk evaluering. Det skal bare gøres på den rigtige måde.

Vi skal evaluere samskabelse, men hvordan gør vi det?

Grundig evaluering af samskabelsesaktiviteter, der involverer brug af offentlige ressourcer, er ikke kun vigtig, fordi evaluering er en kilde til at opnå legitimitet og fremme brugen af samskabelse på den lange bane. Evaluering af samskabelse er også med til at skabe viden om både proces, resultater og effekter med henblik på at skabe løbende forbedringer og dermed større værdi for borgere og samfundet. 

Desuden giver løbende evaluering af effekterne mulighed for at vise, at samskabelse skaber mere innovative, effektive, demokratiske og robuste løsninger end bureaukratiske og markedsbaserede problemløsningsstrategier. Samskabere burde derfor hilse en øget anvendelse af systematisk evaluering velkommen.

Problemet er bare, hvordan man kan evaluere emergente former for samskabelse, hvor problemer, mål og midler bliver til i komplekse lærings- samarbejds- og innovationsprocesser, der hele tiden skaber ændringer og justeringer, fordi deltagerne er bliver klogere gennem fælles diskussion og handling. Samskabelse er en kompleks spiralformet udviklingsproces, hvor mål, midler og resultater er dynamiske og gensidigt påvirker hinanden, og det stiller krav til evalueringsmetoden.

Michael Quinn Patton (2010) beskriver tre forskellige evalueringsredskaber med henblik på at finde en metode, der kan anvendes til evaluere samskabelsesprocesser baseret på samarbejdsdrevet innovation.

Formativ evaluering

Formativ evaluering har til formål at forbedre projekter og processer gennem regelmæssig evaluering af, hvorvidt de på forhånd planlagte aktiviteter er gennemført, og de fastsatte milepæle er nået. Brugere og interessenter bedes desuden om at give feedback på aktiviteternes form og indhold med henblik på at skabe grundlag for fremtidige forbedringer.

Formativ evaluering fører typisk til fremhævelse af projektets eller processens styrker samt til identifikation af forbedringspotentialet, som i kraft af proaktiv handling fra projektledernes side vil øge sandsynlighed for at projektet eller processen i sidste ende vil indfri de overordnede målsætninger.

Summativ evaluering

Formativ evaluering er et forstadie til, og efterfølges typisk af, summativ evaluering, der foretages ved projektets eller processens slutning.

Summativ evaluering vurderer om de overordnede målsætninger for projektet eller processen er indfriet, og forsøger desuden at afgøre, om de opnåede resultater kan tilskrives projektet eller processen, eller skyldes andre og eventuelt udefrakommende forhold. Summativ evaluering analyserer også betingelserne for opnåelsen af resultaterne med henblik på at undersøge mulighederne for generalisering eller opskalering.

Formativ og summativ evaluering ligger ofte i forlængelse af hinanden, og er velegnede til at evaluere projekter eller processer med præ-definerede målsætninger, præ-programmerede standardaktiviteter og en klar slutdato.

Ingen af disse betingelser er opfyldt i samskabelsesprocesser. Her er målsætningerne foranderlige, og de reformuleres hele tiden i lyset af nye indsigter og erfaringer. Aktørerne samarbejder om at udvikle nye og innovative løsninger, der ofte skaber helt nye aktiviteter, som udføres af nye aktører på nye måder. Endelig er målet med samskabelse at skabe fortsat udvikling med henblik på at løse komplekse og presserende problemer, som ikke har nogen endelig og entydig løsning, men kun ’gode-nok-og-kan-godt-blive-bedre’ løsninger.

Fraværet af faste og på forhånd givne mål og aktiviteter, som kan evalueres ved hjælp af hhv. formativ og summativ evaluering skaber behov for en alternativ evalueringsmetode, der er kongruent med og understøtter emergente samskabelsesprocesser.

Udviklingsorienteret evaluering

Ifølge Michael Quinn Patton foretager udviklingsorienteret evaluering et løbende ’realitets-check’ af vurderinger, antagelser og ideer udviklet af mere eller mindre visionære innovatører involveret i samskabelse af offentlig værdi, hvilket er fuldt ud foreneligt med processens emergente karakter.

Udviklingsorienteret evaluering finder sted igennem hele samskabelsesprocessen, som aldrig helt afsluttes, fordi der altid er nogen, der forsøger at skabe endnu bedre løsninger. Evalueringen foretages typisk af én af deltagerne, som tilskyder de andre deltagere til at stille vigtige evalueringsspørgsmål. Hvad er det, vi forsøger at opnå? Gør vi det, vi siger, at vi gør? Holder vores antagelser om problemets årsager og mulige løsning? Hvor ved vi det? Kan det testes i praksis? 

Udviklingsorienteret evaluering søger hele tiden at drive samskabelsesprocessen videre ved at udfordre og teste antagelser, tavs viden, forandringsteorier, resultater og effekter. Formålet er ikke at gøre det muligt for hierarkiske instanser eller sponsorer at kontrollere om processen forløber som den skal og leverer det aftalte resultat, men at stimulere læring og innovation med henblik på at forbedre løsningen.

Praktisering af denne form for evaluering i en samskabelsesproces handler således om hele tiden at forholde sig kritisk spørgende til om problemdiagnosen holder, målsætningerne er relevante og dækkende for interessentgruppen, nye løsninger giver det ønskede resultat, innovative tiltag skaber utilsigtede konsekvenser, effekten er signifikant og robust, osv.

Kort og godt: Udviklingsorienteret evaluering tilbyder en ny form for læringsstimulerende evaluering, som er forenelig med emergente samskabelsesprocesser. Kun ved at udvikle og mestre den nye evalueringspraksis kan vi sikre, at samskabelse bliver et reelt tilskud til den offentlige værdiskabelse.