SØM og realistisk økonomisk evaluering

Hvert år tilføres socialområdet 45 milliarder kroner i offentlige midler til udvikling og implementering af indsatser målrettet social udsathed (Nilsson, 2016). Dertil kommer bevillinger på godt en milliard fra landets filantropiske fonde og foreninger (Thomsen, 2017). Med tilførte midler af det omfang er det relevant for både politikere, borgere og samfund at vide, om indsatserne har den forventede effekt.

Vi ser i dag en stigende bevægelse mod, at denne effekt ikke alene anskues ud fra et velfærdsmæssigt perspektiv, men i stigende grad tilgås ud fra en økonomisk vinkel. Dette vidner om, at der rykkes mod at betragte sociale indsatser som investeringsinitiativer, der kan bidrage til et fremtidigt økonomisk afkast med bedre ressourceanvendelse- og allokering som resultat. 

Arbejdet med at etablere denne viden interesserer naturligvis os i Ineva, da vi som konsulenthus, der bl.a. er specialiseret i evalueringer af sociale indsatser, ønsker at bidrage med viden til udvikling. Dette spænder over den enkelte borgernære indsats til velfærdssamfundet som helhed. Med andre ord påtager vi os gerne et medansvar for at udvikle, implementere og evaluere indsatser, så der skabes nuanceret viden om velfærdsmæssige virkninger – og økonomi. 

Men hvad er egentlig den bedste løsning når det kommer til økonomisk evaluering? Og for hvem? Og hvordan sikrer vi, at økonomisk evaluering på socialområdet bliver så kvalificeret og realistisk som overhovedet muligt – uden at vi går på kompromis med indsatsens primære formål?

Med afsæt i disse spørgsmål stiller vi os ind i det samfundsøkonomiske maskinrum med refleksioner funderet i Inevas tiårige erfaring med evaluering af indsatser på socialområdet. Med denne artikel kobler vi evalueringsfeltet med samfundsøkonomisk tænkning, og vi fremlægger vores overvejelser og tanker om, hvordan økonomisk evaluering kan opkvalificeres gennem forandringsteori som rammeværk. Formålet er at sikre en ansvarsfuld anvendelse og formidling af økonomisk evaluering baseret på ’Den Socialøkonomiske Investeringsmodel’.     Modellen  I efteråret 2017 offentliggjorde Socialstyrelsen ’Den Socialøkonomiske Investeringsmodel’- i daglig tale SØM. Modellen er et budgetøkonomisk beregningsværktøj,som kan anvendes til at styrke beslutningsgrundlaget i lokale sammenhænge. I dette ligger et fokus på at etablere viden om de økonomiske konsekvenser, som følger af en konkret social indsats. Denne investeringstankegang er nyttig, når der ønskes en fremskrivning af indsatsens fulde økonomiske potentiale, og dermed rentabilitet over tid. Konkret muliggør modellen et anslag over de rent pengemæssige konsekvenser af investering i en social indsats ved at indregne de samlede økonomiske konsekvenser. Økonomiske beregninger vha. SØM kan både baseres på antagelser om effekterforud for en indsats eller effekterbeskrevet i en evaluering. Der kan læses mere om Den Socialøkonomiske Investeringsmodel hos Socialstyrelsen.

SØM indeholder mange styrker og greb, som hidtil har været mere eller mindre utilgængelige for kommuner og evaluatorer. Eksempelvis indeholder modellen en stor vidensdatabase bestående af metodisk velfunderede effektstudier af sociale indsatser samt effektestimater til at beregne de økonomiske konsekvenser for forskellige målgrupper. Foruden det solide fundament af effektstørrelser danner modellen også baggrund for, at kommuner får en ensrettet metode til beregning af økonomiske konsekvenser ved sociale investeringer. Dette er blot nogle af de ting, som vi mener, gør investeringsmodellen til et solidt indspark til den viden, beslutningstagere skal navigere ud fra - og samtidigt synes at være et værdifuldt bidrag til evalueringsfeltet.   MEN... Der er altid et men.   En vigtig pointe i en evalueringssammenhæng er dog, at SØM som budgetøkonomisk redskab adskiller sig væsentligt fra anden evaluering ved at udelade velfærdseffekter, som umiddelbart ikke fremstår i monetære enheder - f.eks. øget livskvalitet. Således er modellen begrænset til kun at rumme kvantificerbare effekter, hvortil der kan knyttes monetære værdier. Dette kan eksempelvis være indsatsens effekt på offentlig forsørgelse, sociale serviceydelser eller sygefravær. Det betyder, at indsatsernes primære succesmål nødvendigvis skal kunne angives i monetære enheder. Vores erfaring på socialområdet siger os dog, at man sjældent vil være i stand til at værdisætte indsatsernes primære målsætning. I langt de fleste tilfælde vil målsætningen være knyttet an til forbedret livskvalitet, mental sundhed eller lignende velfærdsmæssige ændringer, som ikkekan gøres direkteop i kroner og ører.    I den forbindelse er det vores vurdering, at man ved blindt at anvende SØM risikerer, at det overordnede formål med indsatsen defineres af modellen. Helt konkret betyder det, at der er fare for, at formålet tager afsæt i et monetært behov som f.eks. reduktion i serviceydelser bestemt af et tilgængeligt succesmål i SØM – i stedet for øget livskvalitet, motivation eller trivsel. Dermed bliver det primære succesmål value for money.Derudover ligger det, som beskrevet, helt implicit i anvendelsen af SØM, at velfærdseffekter, som umiddelbart ikke fremstår i monetære enheder, ikke inddrages i SØM som beslutningsgrundlag.    Vurderet ud fra vores evalueringspraksis giver budgetøkonomisk evaluering således ikke alle svarene. Ved at anvende SØM som enesteevalueringsgreb risikerer man, at det enkelte individ samt indsatsens kontekst bliver placeret i firkantede kasser arrangeret i et på forhånd anlagt mønster. Med andre ord, at man i arbejdet mod at få tilpasset resultaterne til modellen reducerer indsatsens kompleksitet samt de nuancerede beskrivelser af effekterne. Derved går vigtig og brugbar viden tabt, og der vil være risiko for, at beslutninger baseres på fejlslutninger om sammenhængen mellem indsatsens effekter og de afledte økonomiske konsekvenser.    Derfor foreslår vi, at der forud for budgetøkonomisk evaluering af sociale indsatser bør foretages en fyldestgørende og nuanceret udbytte- og effektevaluering. Beslutninger skal træffes på baggrund af forskellige hensyn, som ikke alenehandler om økonomisk effektivitet. For at skabe den bedst mulige socialindsats for borgere og samfund er det derfor nødvendigt, at der findes den rette balance mellem indsatsens værdimæssige sigte og økonomiske rentabilitet. Hvordan budgetøkonomiske beregninger derfor alligevel har en vigtig og betydningsfuld plads i evalueringer af sociale indsatser, skal vi se nærmere på i det følgende.     Forandringsteoretisk anvendelse af SØM Budgetøkonomisk evaluering kan bidrage med viden om økonomiske konsekvenser af en indsats fordelt mellem forskellige aktører. Men denne viden er kun så god som kvaliteten af den data, vi kommer ind i den økonomiske beregning, og anvendelsen er kun så brugbar som indsigten i de faktorer, som påvirker indsatsen.    For at skabe størst mulig viden om programmer og indsatser på socialområdet arbejder vi hos Ineva ud fra tilgangen ”Innovativ evaluering”. Heri ligger en forståelse af, at enhver opnået effekt er skabt i en given kontekstog påvirket af en række mekanismer. Når vi evaluerer sociale indsatser, stræber vi dermed ikke alene efter at besvare, hvadder virker, men også for hvemog under hvilke omstændigheder.    Det er ikke i sig selv den sociale indsats, der skaber og driver de økonomiske konsekvenser, men derimod de mennesker, som involverer sig i, forholder sig til og handler påbaggrund af indsatsen. Virkeligheden er mere kompleks end at kunne sige: ”Når vi gør A, får vi B, hvilket fører til en økonomisk effekt Ø”.I virkeligheden må evalueringen finde svar af typen: ”Når vi gør A i kontekst Q, så får vi B med økonomisk effekt Ø, når personale/borgere/aktører understøtter på måde C og D”. I vores arbejde hjælper forandringsteorien os til at finde de sammenhænge, som muliggør den slags svar.   Med afsæt i at nuancerede og præcise udbytte- og effektevalueringer er en grundlæggende præmis for at skabe valid og realistisk økonomisk evaluering, betragter vi budgetøkonomisk evaluering som et delelement i forlængelse af forandringsteorien.

Således, at de resultaterog virkninger, der opstår på baggrund af indsatsens ressourcer, kontekst, aktiviteter og mekanismer, fører til en økonomisk konsekvens. Set ud fra et økonomisk perspektiv betyder denne evalueringstilgang, at man ikke alene får kvalificeret viden om indsatsens rentabilitet.

Evalueringstilgangen vil, foruden at skabe kvalificeret viden om ”how much bang for the buck”,kunne etablere konkret viden om, hvorfor eller hvorfor ikkede økonomiske konsekvenser er opstået. 

Realistisk økonomisk evaluering

Ledelsesmæssige beslutninger bør først og fremmest bero på en nuanceret forståelse af den enkelte indsats og dens virkninger. Først med en nuanceret forståelse af årsags-virkningssammenhænge kan resultaterne og perspektiverne anvendes ind i et økonomisk evalueringsperspektiv. Med afsæt i en udvidet forandringsteori arbejder vi i Ineva ud fra en metodisk tilgang, som vi tillader os at kalde’realistisk økonomisk evaluering’. Ved at producere nuancerede skildringer af den enkelte indsats’ kortsigtede resultater og langsigtede virkninger er det muligt at opkvalificere de forudsætninger, som ligger til grund for den økonomiske beregning. Resultatet er økonomisk evaluering, som ikke alene skaber valid og nuanceret viden om de afledte økonomiske konsekvenser, men som sidevirkning også kan bidrage til kvalitetsudvikling af den sociale praksis.

Derudover vil ’realistisk økonomisk evaluering’give mulighed for at skabe kvalificerede antagelser om, hvordan og i hvilken grad den sociale indsats vil virke, når konteksten er en anden. Dette aspekt gør det muligt at overføre kvalificeret viden om indsatsens effekter og dermed økonomiske konsekvenser til eksempelvis en anden kommune. Ud fra et investeringsperspektiv betyder det, at økonomiske evalueringer opnår større anvendelighed på tværs af kommunale og regionale grænser, hvilket sikrer et bedre fundament for at iværksætte og udvikle virksomme indsatser i nye sammenhænge. 

At finde den rette nuanceringsgrad vil altid være en balancegang. Dermed ikke sagt, at alle socialindsatser nødvendigvis bør behandles med afsæt i nuancerede skildringer af kontekster og mekanismer. I visse tilfælde kan mere generel viden om effekter være tilstrækkelig. Når vi alligevel positionerer os med halvanden fod i nuancerede skildringer af årsags-virkningssammenhæng skyldes det, at nuancerede beskrivelser af kontekst og mekanismer, herunder hvad der hæmmer og fremmer indsatsen, gør det muligt at sige med nogenlunde sikkerhed, hvad der skal være til stede for at indsatsen skaber effekt. For os er dette lig med viden til udvikling,da det i større udstrækning er muligt at bringe i spil i forbindelse med udformning af effektfulde initiativer i andre lignende sammenhæng - både ud fra et velfærdsperspektiv, men også økonomisk. Det er dog vigtigt at slå fast, at viden om, hvordan effekter skabes i en bestemt lokal kontekst, aldrig er sikker, da dette samtidig vil afhænge af implementering og lokal forankring.     Ansvarsfuld anvendelse og formidling Da Socialstyrelsen i 2016 igangsatte arbejdet med SØM var det med ønske om at udvikle et redskab, der kunne anvendes af slutbrugeren til at lave økonomiske evalueringer ”uden særlige forudsætninger og erfaringer på området” (Socialstyrelsen, 2016). Dertil hørte ønsket om, at resultaterne skulle være i en form, der kunne”indgå direkte i beslutningerne om sociale indsatser i kommunerne.”. Siden da har Socialstyrelsen modificeret deres målgruppebeskrivelse, og som fagprofessionelle vurderer vi heller ikke, at SØM på egen hånd er stærk nok til at kunne anvendes uden faglig forståelse for og erfaring med effekt- og konsekvensberegninger. Samtidig kan eksterne evaluatorer, som vi, heller ikke egenhændigt udarbejde stærke SØM beregninger. Det kræver et tæt samarbejde med relevante aktører, herunder den kommunale administration og praktikere, at forstærke reliabiliteten af de faktorer, som indgår i beregningerne. 

Hvis SØM skal kunne danne grundlag for centrale beslutninger om prioritering og tilrettelæggelse af den sociale indsats, mener vi, at det må ske gennem en vidensinformeret tilgang samt gennem metodisk- og faglig refleksion. En væsentlig pointe er, at SØM ikke må blive en’metodisk sovepude’. Altså, et redskab vi anvender med blind tillid, for evaluatorer, praktikere, politikere eller beslutningstagere. Det omhandler især en ansvarsfuld og korrekt formidling af de faktorer, som ligger til grund for de økonomiske beregninger og dermed resultatet af de økonomiske fremskrivninger. Dernæst en forpligtigelse til at anvende resultaterne med et kritisk blik og bevidsthed om modellens metodiske begrænsninger. Resultater er aldrig facit. I dette ligger, at det naturligvis aldrig er muligt at generere sikkerviden om fremtiden – uanset hvor kvalificerede beregningerne er. 

Det er derfor vigtigt, at resultaterne fra en SØM beregning kommunikeres med alle relevante forbehold og følsomhed, samt at beslutningstagere besidder et kritisk blik, når økonomiske beregninger indgår som fagligt element i en beslutningsproces.      Best practice   Som beskrevet i denne artikel ser vi rentabilitetsvurderinger af sociale indsatser ved brug af SØM, som et stærkt og anvendeligt indspark til evalueringsfeltet. Når vi bruger ordet ’indspark’ er det netop fordi, vi ikke mener, at SØM kan anvendes 1:1 i evalueringssammenhæng, men at en forandringsteoretisk anvendelse samt en tydelig kommunikation af usikkerheder vil opkvalificere brugen af modellen. 

Svaret på hvad der er den bedste løsningskal altså findes i kombinationen af flere greb. Vi tror ikke på, at der findes en one-size-fits-alltilgang til økonomisk evaluering af sociale indsatser. Indsatser og kontekster er forskellige. Til gengæld er vi af den holdning, at økonomisk evaluering bør være så tæt på den enkelte indsats som muligt. Dette netop for at finde svar som både kommer den enkelte borger og samfundet som hele til gode - samt det derimellem. Viden bør ikke kun være et beslutningsgrundlag, men også et udviklingsgrundlag. Med dette in mente undgår vi at gå på kompromis med indsatsens primære formål. Effekt og viden om økonomisk effekt må aldrig stå før mennesket.

Denne artikel udtrykker kun vores egne holdninger.

 

FAKTA: Om forandringsteori 

Forandringsteori er en måde at opstille antagelser om og forklaringer af en generativ (potentiel) årsags-virkningskæde for, hvordan de langsigtede virkninger nås, hvilke resultater, der går forud, og hvilke ressourcer, kontekster, aktiviteter og mekanismer der forårsager disse resultater. Ressourcerne er de midler, der tilgår indsatsen i form af økonomi, viden, personale og deltagernes ressourcer m.m., mens konteksten er de forudsætninger, som indsatsen ”lever” i, og som man kan få øje på. Dette er fx organisationens størrelse, socioøkonomiske forhold, timing, medarbejder/borgersammensætning, medarbejdernes anciennitet, lokalitet og geografi.

Aktiviteterne dækker over de egentlige aktiviteter, det er relevant at forholde sig til i forandringsteorien - både de på forhånd kendte og de nyopståede, og mekanismer er aktørenes holdninger til og forestillinger om indsatsen. Dette er eksempelvis medarbejdernes forståelse af deres profession, ledelse og kultur i organisationen, organisationsstruktur, aktørernes forståelse af det, de deltager i, modstand og motivation. Resultater og virkninger er hhv. de umiddelbare kortsigtede her-og-nu effekter som opstår på baggrund af indsatsen og de langsigtede effekter som opstår som følge af indsatsen.   

 

Litteratur:

Nilsson, Kirtsen, Politikken.dk, 20. jun. 2016: Minister gør op med social indsats for 45 milliarder.

Socialstyrelsen, 2016: Udbud af opgave om udvikling af modeller/redskaber til økonomisk evaluering af sociale indsatser.

Thomsen, Jakob, danmarksfonde.dk, 28. juni 2017: Ny officiel statistik: fonde udbetalte 10,8 mia. kr. i 2016