Øget efterspørgsel på evidens i det offentlige udfordrer nuancerne

Evidensbaseret politik, evidensbaseret ledelse, evidensbaseret praksis - evidensbaseret alt-muligt. I de seneste årtier har evidensbølgen skyllet ind over dansk politik, forvaltning og ikke mindst den professionelle praksis. Det er svært ikke at erklære sig enig i, at velfærdstiltag bør bygge på viden om, ’hvad der virker’. Men hvad dækker forskningsbaseret evidens over, og giver det overhovedet mening at lave forskningsbaserede studier af lokale og kontekstafhængige indsatser?   Evidens er blevet et plusord i velfærdsdebatten, og som konsulenthus, der bl.a. er specialiseret i evalueringer af sociale indsatser og interventioner, oplever vi en stadig stigende efterspørgsel på forskningsbaseret evidens, herunder hvad begrebet dækker over samt hvordan det er muligt at etablere i egen praksis. I denne artikel brydes med forestillingen om, at evidens - og dermed forskningsmetoder - kan rangeres uafhængigt af undersøgelsesfeltet, og at der alene er én type forskningsdesign, som bringer mere valide resultater end andre. Evalueringer, undersøgelser og effektmålinger skal ikke være baseret på præfabrikerede forskningsmetoder. Efterspørgslen på viden skal definere metoden – ikke omvendt.

Begrebet sandhed og hierakiet for evidens

»Forskningen siger…« eller endnu mere overbevisende: »Der er evidens for...«. Vendingerne har en attraktiv og beroligende klang, og virker som noget andet og bedre end gætteri, mavefornemmelser og ideologisk drevet politik. Grundlæggende opfattes evidensbegrebet altså som et sandhedsbegreb.   Inden for forskning siger man, at intet er evident, og dermed sandt, før det er videnskabeligt bevist. Men ifølge positivistisk tænkning er al evidens ikke lige ”sand”, og ikke alle forskningsdesign producerer samme niveau af validitet. Det såkaldte evidenshierarki repræsenterer en rangordning af forskningsdesign, og den helt centrale opfattelse er, at jo højere et forskningsdesign befinder sig i hierarkiet, jo mere troværdig er den viden, der produceres. Hierarkiet placerer evidens, som er opnået gennem randomiserede kontrollerede forsøg (RCT-studier) over andre typer af evidens såsom kvalitative og observerende studier.   Når flere af vores kunder er begyndt at efterspørge forskningsbaseret evidens af større såvel som mindre indsatser på f.eks. social- og uddannelsesområdet, kan det altså dels skyldes evidensbevægelsen som helhed, og dels at der i det politiske niveau synes at være opstået udbredt konsensus om, at forskning baseret på RCT-studier frembringer mest valid viden. Men vi skal forstå evidens bredere. Viden kan godt være evident, selv om det ikke er knyttet til kontrolgrupper, korrelations-koefficienter og statistisk signifikans. Evidens er mere end, hvad der kan kvantificeres.     Når forskningsbaseret evidens kommer til kort En af de væsentligste kritikker af RCT-studiet er, at produktet tenderer til at borttænke eventuelle betydninger af lokale kontekster. RCT-studiet skaber alene viden om hvad der virker, og ikke viden om hvorfor det virker. Det er vigtigt at pointere, at det i visse sammenhænge sagtens kan give mening at benytte RCT-studiet i et evalueringsøjemed. Det er dog også vigtigt at gøre opmærksom på, at den lokale kontekst og den enkelte undersøgelses særtræk imidlertid ofte er af så stor betydning, at det ikke til enhver tid er muligt at generalisere og overføre resultatet til eksempelvis andre kommuner eller regioner. Det kan f.eks. være, at en given pædagogik kan være effektfuld i en skoletradition, men ikke nødvendigvis er effektfuld i andre kontekster. Som forfatter og evaluator Michael Quinn Patton udtrykker det:   “In certain settings anything works, in other everything fails”  - Michael Quinn Patton   Dette er paradoksalt, når efterspørgslen på et sådant forskningsstudie netop er drevet af det politiske ræsonnement; at den offentlige sektor ønsker at overføre virkefulde indsatser fra én kontekst til en anden. Derudover konkluderer flere empiriske undersøgelser, at forskningsbaseret evidens kun i meget begrænset omfang anvendes instrumentelt i politisk beslutningstagning, men i højere grad er af symbolsk karakter. Hvis anvendelsessigtet primært er symbolsk, så får en evalueringen mere rituel status, og bidrager kun minimalt til læring eller udvikling af den aktuelle situation.   I vores arbejde oplever vi ofte, at især de individuelle aktører, deres relationer, økonomi, lokale regler og kultur er afgørende for hvordan projekter udfolder sig, og dermed deres effekt. For ikke kun at beskrive om det virker, giver det for os god mening at arbejde forandringsteoretisk og inddrage kvalitative case-studier i vores evalueringer, for på den måde at kunne give svar på hvad der virker for hvem under hvilke omstændigheder. Denne tilgang udforsker undersøgelsesfeltet og muliggør observation af uforudsete effekter. RCT-studiet, baseret på målopfyldelsesmodellen, undersøger udelukkende forudindtagede effekter. Med andre ord: vi ved ikke hvad effekten er, hvis ikke vi ved, hvad vi skal se efter. Resultatet vil derved potentielt blive et mangelfuldt og unuanceret billede af effekten. For at understøtte pointen ville en målopfyldelsesevaluering af Columbus’ rejse til Indien karakteriseres som en fiasko, fordi den bieffekt, at han sejlede ”ind” i Amerika, ville blive negligeret.     At Vælge det rigtige forskningsdesign Ifølge Michael Quinn Patton er det problematisk, at der overhovedet siges at være en ’guldstandard’ inden for forskningsbaseret evidens. Når en metode siges at være bedre end andre, bliver alle andre metoder underlegne, og det risikeres, at metoden bestemmer spørgsmålet frem for, at spørgsmålet bestemmer metoden. I tråd med Patton er vores holdning, at evidenshierarkiet ikke alene bør diktere, hvad der kan betragtes som valid og legitim viden. Men hvad er det rigtige forskningsdesign så?   Lad os slå det fast. Denne artikel har ikke til hensigt at være endnu et bidrag til den evige metodedebat mellem positivister og humanister, mellem naturvidenskaben og hermeneutikken, eller mellem kvantitative metoder og kvalitative metoder. I stedet er intentionen at give mulighed for metodisk refleksion - på politisk såvel som praksisnært niveau. Når ovenstående spørgsmål skal besvares lader det sig kun gøre ved at stille to nye: Hvad er det for en viden, der efterspørges? Og lige så vigtigt; hvordan skal den bruges? Først når disse spørgsmål er besvaret kan den mest hensigtsmæssige forskningsmetode vælges.

Et alternativ til evidenshierarkiet er en evidenstypologi, hvor tanken er, at forskningsmetoder ikke rangordnes, men i stedet grupperes efter hvad de er gode til at sige noget om. Dermed defineres metodevalget ud fra den viden, der efterspørges. Ja, der er forskel i den viden, vi kan opnå ved RCT-studiet og den viden, vi kan opnå ved det kvalitativt forankrede case-studie. Begge metoder har deres styrker og svagheder, og begge er meget vigtige. Begge metoder er sågar evidente og anerkendte inden for forskning. I valget må man spørge sig selv, om man vil vide hvad der virker eller hvorfor det virker.

  Lad os begrave begrebet ”guldstandard” og erstatte det med en altid gældende tommelfingerregel: lad efterspørgslen på viden definere metoden – ikke omvendt.   Læs mere på www.ineva.dk