Kan du stole på børne-SØM's beregninger?

Ved højstemte lejligheder kan man høre flere fremhæve, at der er brug for, at vi baserer de sociale indsatser på viden snarere end fornemmelser. En sådan fremstilling er lige lovlig sort/hvid, men jeg ser helt klart SØM som et redskab, der måske kan give et lille ryk i retning af et lidt bedre vidensfundament for forebyggelsesbeslutninger. Når jeg kun strækker mig til et ”lille ryk” er det, fordi SØM’s resultater langt fra er udtryk for sikker viden, og fordi der stadig er mange relevante problemstillinger, som SØM endnu ikke kan regne på. Udover at der altid er usikkerhed forbundet med forudsigelser om fremtiden, er SØM forbundet med en række større og mindre usikkerheder, som jeg uddyber i det følgende.

Indledningsvis vil jeg gerne anerkende SØM, som jeg selv glæder mig meget til at bruge. SØM er udarbejdet af erfarne folk hos VIVE og Incentive, og der ligger et stort, grundigt arbejde i projektet. Samtidig har de været kritiske med, hvilke data og undersøgelsesresultater, der er medtaget i SØM. Så umiddelbart må vi antage, at materialet er godt og solidt. Når det så er sagt, er det meget vigtigt at tage højde for de valg og antagelser, der ligger i SØM, fordi de spiller en helt afgørende rolle for de resultater, der kan trækkes ud af modellen.

Generelt virker det til, at karakteren af det tilgængelige datamateriale spiller en stor rolle, og design af økonomimodeller er i høj grad det muliges kunst. (En sådan pragmatisme er i mine øjne helt nødvendigt, når der skal foretages så komplekse analyser, og dermed ikke som sådan en kritik af VIVE).

Usikkerheder i koblingen mellem effekter og økonomiske konsekvenser

Jeg har fundet tre eksempler på usikkerheder i forhold til den måde man sammenkobler de målte effekter med de økonomiske konsekvenser på:

1. SØM får ikke sat værdi på effekter i forhold til børn og unge, der må betegnes som delvise succeser. Der er kun ét SØM-succesmål for hver af de 7 målgrupper i SØM, og det er et enten-eller-mål. Eksemplet fra mit forudgående indlæg er målgruppen ”børn og unge med angst, depression eller andre affektive lidelser”. Denne målgruppe har SØM-succesmålet ”mindre kontakt med psykiatrien”. Hvis du opfylder dette kriterium opfatter SØM dig som en del af ”succesgruppen”. SØM beregner konsekvenserne af succesfuld behandling ved at sammenligne forløbene for denne succesgruppe med forløbene for den del af målgruppen, der ikke opfylder SØM-succesmålet. Det lidt grove ved disse proxy-mål består i, at det ikke er en del af billedet, hvordan den unge i øvrigt trives, og om den unge er i stand til at klare sig - fx i forhold til at passe sin skolegang. Dermed kan en del mindre effekter gå under radaren, hvilket alt andet lige kan medføre en undervurdering af de økonomiske konsekvenser.
2. Usikkert om dem, der opnår af succes af egen drift har samme karakteristika som dem, der får hjælp til det. Et andet lidt groft træk ved proxyvariablen er, at SØM ikke kan skelne mellem, om man er endt i succesgruppen af naturlige årsager eller pga. en succesfuld intervention. Nogle vil formentligt komme ud af deres situation uden den store behandling. SØM’s økonomiberegninger er baseret på en forudsætning om, at det ikke gør nogen forskel hvad det er, der har gjort forskellen for den enkelte. SØM gør alt, hvad man kan for at reducere dette problem ved at kontrollere for betydningen af et stort antal registerbaserede baggrundsvariable ift. børnene samt deres forældre. På den måde sandsynliggør man, at forskellene ikke skyldes i hvilket omfang børnene i succesgruppen har tendens til at have en mere ressourcestærk baggrund. Løsningen giver mening, men er forbundet med to problemstillinger: 1) Nogle variable er med dokumentationsrapportens egne ord uobserverbare fx barnets forhold til forældrene og socialrådgiveren, så dette giver en lille rest af usikkerhed. 2) Regressionsanalysen sætter gevinsterne til 0 kr, hvis de ikke er statistisk signifikante. Den statistiske metode er baseret på Bonferroni-korrektion, der ifølge SØM's dokumentationsrapport "anses for en relativ konservativ justering for multiple hypoteser". 
3. Usikkerhed om nogle koblinger mellem effektmålinger og SØM’s succesmål. Hvis man som bruger ønsker at bruge vidensdatabasens effektstørrelser i de økonomiske konsekvensberegninger, forudsætter det et stærkt link mellem de effekter, der fremgår af effektdatabasen og SØM-succesmålene. Det kan dog diskuteres, hvor stærk sammenhængen er mellem effektdelen og konsekvensdelen. I det valgte eksempel synes det rimeligt nok at antage, at en succesfuld behandling af en psykisk lidelse medfører mindre kontakt til psykiatrien efterfølgende. I forhold til nogle andre målgrupper kan der dog godt være en diskussion: Fx viser en gennemgang af de mange effektmålinger i databasen, at indsatserne som hovedregel er målt på ”bløde” effekter som psykisk trivsel, koncentrationsevne og adfærdsmønstre, mens der ikke behøver være en 1:1-relation mellem sådanne effektstørrelser og eksempelvis behovet for anbringelse. Jeg påstår slet ikke, at sådanne effektmål er irrelevante, men blot at der ikke er en simpel kausal relation til SØM-succesmålene. Eksempelvis skyldes den enkelte anbringelse ofte en kompleks cocktail af flere risikofaktorer, der retter sig mod såvel barnets som forældrenes situation. Socialstyrelsen og VIVE/Incentive advarer selv mod blot at antage en kausal relation, og fremhæver, at vidensdatabasen er til inspiration. Som bruger er man nødt til at vælge en effektstørrelse, og i sidste ende er det en kvalitativ vurdering. Man kan godt vælge ukritisk at indtaste effektstørrelser direkte fra vidensdatabasen – det er nok det nemme valg, men det kan give business case-beregningen et falsk videnskabeligt præg. 

Usikkerheder og valg i forhold til beregningen af de økonomiske konsekvenser

Økonomimodeller indebærer en række valg bl.a. i forhold til hvor langsigtede og helhedsorienterede de skal være. Det vigtige er, 1) at valgene i sidste ende afspejler beslutningstagernes muligheder og præferencer, og 2) at modellens brugere er bevidste om valgene og deres konsekvenser.

På nogle måder kan SØM’s konsekvensberegningerne anskues som relativt snævre og kortsigtede, hvis man eksempelvis sammenligner med det amerikanske forbillede WSIPP-modellen. Lad os tage påstanden om det snævre først: SØM værdisætter alene de budgetøkonomiske konsekvenser af indsatserne, dvs. forventede besparelser på de konkrete individer, hvor WSIPP også regner på de bredere samfundsmæssige konsekvenser, fx ift. kriminalitet og forventet fremtidig indtjening. Så hvis en indsats bidrager til, at færre i målgruppen begår kriminalitet, så medtager SØM budgetgevinster ift. det mindre træk på politi, domstole og retsvæsen, mens WSIPP går et skridt videre og også værdisætter at færre bliver ofre for kriminalitet.

Hvor SØM’s beregninger primært tager afsæt i de første 10 år, så har WSIPP et 50-årigt perspektiv. Indsatserne (og omkostningerne til dem) er typisk kortvarige, mens gevinsterne af hjælp i en kritisk situation kan være meget langvarige. En del af WSIPP-indsatserne giver meget høje samfundsafkast, men i nogle situationer er det først efter fx 20 år, at omkostningerne er hentet hjem, hvilket dog betyder, at gevinsterne de sidste 30 år er rent overskud. Alt andet lige fører det relativt korte tidsperspektiv i SØM således til, at SØM’s gevinster sættes lavere, men det er givetvis relevant nok ift. at kommunernes tidshorisont typisk ikke er så lang. WSIPP-grebet til så lange fremskrivninger er ikke, at de faktisk observerer en målgruppe over 50 år, men at de sammensætter forskellige forskningsresultater i en kæde. Hvis de fx finder en evaluering af et program til at reducere ungdomskriminalitet bruger de effekterne her og kombinerer dem med viden om, hvad ungdomskriminalitet betyder videre i livet for uddannelse, beskæftigelse mv.

Når man gransker SØM’s konsekvensberegninger, vil man også kunne finde, at der ikke er medregnet konsekvenser på en række budgetområder, hvor der fagligt må forventes konsekvenser, men hvor talmaterialet bare ikke er stærkt nok til sikre konklusioner. Fx estimeres den økonomiske konsekvens til 0, hvis ikke forskerne har fundet signifikante forskelle. Lad os se nærmere på eksemplet fra før med den unge teenager, der succesfuldt har fået behandlet sin angst. Her identificerer SØM en forventet besparelse på hhv. hjemmebaserede foranstaltninger og døgninstitutionsanbringelser, mens modellen estimerer en udgiftskonsekvens på 0 kr. ift. familiepleje. En dybere søgning i konsekvensdatabasen viser, at forskerne faktisk HAR fundet, at succesgruppen trækker mindre på familiepleje end resten, men forskellen er ikke statistisk signifikant. (I en faglig optik ville det estimerede 0 kr. være overraskende, da familiepleje i intensitet ligger mellem hjemmebaserede foranstaltninger og døgninstitutionsanbringelser på indsatstrappen.) Et andet eksempel er, at den succesfulde målgruppe også er opgjort til at trække mindre på alkoholbehandling, men igen estimeres dette til 0 kr., da sammenhængen ikke er signifikant.

Endeligt er det vigtigt at være opmærksom på, at SØM tager afsæt i individuelle livsforløb, og dermed overser man bl.a. eventuelle familierelaterede effekter på tværs af generationer: Det er ofte hårdt at være forælder til et udsat barn, og det kan i nogle tilfælde gå udover forældrenes egen sundhed, parforhold og karriere, så kunne man forestille sig, at forældrene selv vil klare sig bedre i livet, hvis deres barn med særlige behov mødes med gode tilbud fra det offentlige? Og kunne man forestille sig, at nogle succesfulde indsatser rettet mod teenagere fører til, at de unge også selv på sigt bliver bedre forældre? I så fald kunne der også på længere sigt være gevinster knyttet til, at der afledt er et mindre støttebehov ift. øvrige generationer.

Fra resultater i en modelberegning til gevinstrealisering i en kommune

I dette indlæg har jeg forsøgt at vise, at selv om SØM giver os et bedre estimeringsgrundlag af effekter og økonomiske konsekvenser end tidligere, så vil der altid være en række usikkerheder, ligesom der også er med SØM.

I mit tredje og sidste indlæg på fredag vil jeg beskrive nogle af de udfordringer, der kan være med at oversætte SØM-beregninger til en konkret business case i en konkret kommune. Hvor jeg sikkert fremstår som investeringsoptimist i dagens indlæg ved primært at fremhæve områder, hvor SØM sætter gevinsterne lavt, så vil jeg til gengæld forhåbentligt fremstå mere som en realist på mandag, når vi nærmer os den organisatoriske implementering og gevinstrealisering.

Bloggen udtrykker kun mine egne vurderinger og holdninger.