Frikommuneforsøget - Sådan opnår man en brugbar effektmåling

Velfærd

16/02/2012 09:58

Administrator

Frikommuneforsøget skal åbne for initiativer, der kan øge fagligheden og kvaliteten af ydelserne til borgerne - med mindst lige så god ressourceanvendelse som før. For at kunne vurdere om målene er nået, og for at kunne udbrede en ”positiv” læring af forsøgene, er en solid effektmåling afgørende.

Og det ér muligt at udføre sådanne målinger, hvis der anvendes forskningsdesign, der gør det muligt at udtale sig nogenlunde troværdigt om årsagsvirkningsforhold. Der er erfaring med disse design i såvel Danmark som andre lande.

Effekt skal ses i forhold til omkostninger
Effektmålinger kan ikke stå alene i forhold til at udbrede læring om en bedre offentlig service. Ressourceanvendelse er en central del af frikommuneforsøget, og det anbefales, at der til alle effektmålinger knyttes opgørelse af omkostningerne ved indsatsen. Effekten af indsatsen sættes i forhold til omkostningerne, så sammenligningsgrundlaget måles i effekt pr. krone.

Den gode og den dårlige effektmåling
Den gode effektmåling adskiller sig fra den dårlige ved, at det er muligt at korrigere for alle de forhold, der ud over indsatsen har betydning for, at mennesker får et arbejde, en uddannelse, kan klare sig selv mv. Det vil sige, at effektmålingen kan identificere den isolerede virkning af én bestemt årsag – her en ny eller ændret kommunal indsats. Der findes ikke nødvendigvis en årsagsvirkningssammenhæng, selv om en virkning indtræder samtidig med en indsats – den sande årsag kan være en helt tredje faktor.

Fx kan en positiv virkning af en ny beskæftigelsesindsats helt eller delvis skyldes en gunstig konjunkturudvikling. Desværre tages der ikke højde for sådanne aspekter i mange evalueringer af kommunale indsatser i Danmark.

Håndtering af metodiske faldgruber
I dette notat beskrives de metodiske faldgruber, og det gennemgås, hvorledes de håndteres. Der opstilles en række konkrete anbefalinger og retningslinjer med henblik på at sikre validitet og repræsentativitet, så resultaterne bliver generalisérbare og dermed kan overføres til andre kommuner efter forsøgsperioden.
Notatet behandler de klassiske problemstillinger, der – hvis de ikke håndteres – er ødelæggende for effektevalueringen. Det drejer sig fx om, at effekten slet ikke skyldes indsatsen, det kan handle om  at man har sat flere samtidige indsatser i gang og efterfølgende ikke ved, hvad der skyldes den ene eller den anden indsats,  at kontrolgruppen er anderledes sammensat end den gruppe, der modtager indsatsen, og de derfor ikke udgør et retvisende sammenligningsgrundlag at forsøgsdeltagerne ikke er repræsentative, så man ikke ved, om effekten vil være lige så positiv i forhold til bredere borgergrupper.

I notatet peges på en række metodiske tiltag, der kan afhjælpe problemerne.

Lodtrækningsforsøg
Den korrekte effekt af en indsats er forskellen mellem, hvordan det går en borger, hvis han får indsatsen, og hvordan det går den samme borger, hvis han ikke får indsatsen. Dette eksperiment kan ikke gennemføres i praksis. Det modsatte af, hvad der faktisk sker, vil altid mangle.

I disse tilfælde laver man en beregning på, hvad der ville være sket, hvis ikke borgeren var blevet udsat for indsatsen (det kontrafaktiske forløb).

Både ved hjælp af et lodtrækningsforsøg og ved brug af statistisk baseret forskningsdesign er man i stand til at foretage pålidelige målinger af effekten af en offentlig indsats. Lodtrækningsforsøget fordeler borgerne helt tilfældigt på en indsatsgruppe og en kontrolgruppe, som det er kendt fra medicinske forsøg.

Herved bliver de andre faktorer, der kan have betydning for, hvordan det går de to grupper, også helt tilfældigt fordelt. Det eneste, der herved varierer mellem grupperne, er selve indsatsen. Så hvis der er en forskel i, hvordan det går indsats- og kontrolgruppen, kan det kun skyldes, at indsatsen er ændret. Lodtrækningsforsøget kræver, at der laves et meget kontrolleret design, og der redegøres i notatet for, hvordan det kan foregå set i relation til frikommuneforsøgene.

Statistiske forskningsdesign
Statistisk baserede forskningsdesign vil også i fravær af lodtrækningsforsøg kunne give pålidelige beregninger af effekten af en offentlig indsats. Der anvendes her avanceret statistik til at konstruere det kontrafaktiske forløb (kontrolgruppen). Typisk anvendes denne metode efter, at ændringen af indsatsen er foretaget.

Det klart bedste resultat opnås imidlertid, hvis der før igangsættelsen af forsøget udpeges en kontrolgruppe, der ligner indsatsgruppen så meget som muligt, og at der inden ændringen af indsatsen foretages før-målinger af, hvordan det går henholdsvis kontrol- og indsatsgruppen, og at tilsvarende målinger også gennemføres, efter at indsatsen har forløbet et stykke tid.

De effektmålingsmetoder, der er relevante for frikommuneforsøgene, gennemgås i notatet, og der gives med afsæt i frikommuneansøgninger på beskæftigelses- og skoleområdet konkrete eksempler på design med og uden lodtrækningsforsøg, som er egnet til at give troværdige effektmålinger.

Læs mere

 

Mest Læste

Annonce