Evalueringsforskning – dens historiske udfordringer
Evalueringsforskning opstod og udviklede sig i kølvandet på velfærdssamfundets udvikling efter anden verdenskrig. Lord Beveridge’s ambitiøse løfter til de allierede staters soldater under krigen havde skabt et ønske om en endelig bekæmpelse af fattigdom, nød og arbejdsløshed. Lord Keynes havde vist nye veje til at håndtere de tilbagevendende økonomiske kriser, og den anvendte sociologi havde fået et nyt statistisk redskab til at håndtere store datamængder om befolkningens levekår. Velfærdssamfundets institutioner udviklede sig og greb ind i stadig større dele af samfundslivet sammen med nye diagnoser som overførte stadig flere borgere med problemer til rehabiliterende indsatser.
I midten af 60erne opstod så evalueringsforskningen som et nyt instrument i den statslige styring af udviklingen i de offentlige tilbud. Opgaven var at sikre at de nye tilbud havde den effekt som man antog og forventede at de havde. Den første generation af evalueringer, de summative, var således orienteret mod resultaterne af en given ny indsats og deres konklusioner kunne være afgørende for om en sådan indsats fortsat ville modtage statslige bevillinger.
1970ernes øgede interesse for involvering af brugerne og en større grad af ’bottom-up’ styring af de offentlige institutioner gav grobund for den næste generation af evalueringer – de formative. Her bestod konceptet af feed-back mekanismer hvor evalueringen kunne bidrage til at man fik justeret udviklingen undervejs så snart evaluator konstaterede at noget ikke fungerede som det skulle. I 1980erne udviklede dette sig yderligere til empowermentevalueringer, hvor ideen var at man i processen udviklede evalueringsinstrumenter som institutionerne kunne overtage og bruge efter at evaluator havde forladt organisationen. Løbende interne evalueringer og monitorering af institutionernes organisation hvad angår kvalitet, brugertilfredshed og trivsel er efterfølgende blevet en standardiseret teknologi i de offentlige institutioners organisationsudvikling.
I slutningen af 1980erne opstod der imidlertid et problem i forbindelse med det der er blevet kaldt den tredje decentralisering hvor man søgte en grundlæggende ændring af samarbejdet mellem private, frivillige og offentlige aktører. For at sikre en udvikling af nye ideer til en styring af dette samarbejde, vedtog politikerne en række udviklingsprogrammer der skulle undersøge mulighederne for et sådant samarbejde. Samtidig var det nødvendigt at forskningen stillede sig til rådighed med nogle metoder til at sikre at erfaringerne fra disse udviklingsprogrammer ikke blev glemt.
Her var de nævnte evalueringsmodeller ikke tilstrækkelige. De var udviklet til at identificere effekter og processer i nye institutioner som forventedes at få en permanent placering i velfærdssamfundet. Udviklingsprogrammerne tjente et helt andet formål. De var på forhånd bestemt til at lukke efter en kort årrække og det væsentlige var derfor ikke om de havde skabt resultater eller håndteret de organisatoriske udfordringer. Det væsentligste output var de erfaringer de havde skabt om den slags initiativer i vores samfund. Hvad var muligt og hvad var ikke muligt. Under hvilke omstændigheder ville det være muligt og hvad var betingelserne.
Denne nye udfordring pegede på en forskningsstrategi som jeg har kaldt forskningsbaseret erfaringsopsamling. Denne strategi betragter udviklingsprogrammerne som sociale eksperimenter der afslører nogle af de grundlæggende vilkår og muligheder i vores samfund. Praktikere og forskere er i denne sammenhæng fælles om en undersøgelse som begge parter ved skal gennemføres på de tre år der er til rådighed. Man har en løbende dialog om hvad der er blevet forsøgt og hvad man mangler at få afprøvet. På fælles seminarer kan dette drøftes og praktikere og forskere kan nå til enighed om hvad der stadig er uprøvet og hvor der er behov for bedre dokumentation. Det fælles udgangspunkt er ikke at få det enkelte projekt godkendt og sikre dets fortsættelse men en almen offentlig interesse i at finde ud af hvad der kan lade sig gøre i de danske samfund. Projekterne i forbindelse med Den lokalt forankrede folkeskole og Ungdom, udvikling og handicap var bygget op omkring disse principper.
Den forskningsbaserede erfaringsopsamling som i visse andre bidrag i 90erne optræder under betegnelsen Dialogforskning var et skridt i retning af en større interesse for udviklingspotentialer, kontekster og virkningsmekanismer i forbindelse med udviklingen af velfærdssamfundets institutioner. Denne interesse gjorde sig også gældende indenfor det der er blevet kaldt Realistisk Evaluering i begyndelsen af dette århundrede. Dermed opstår der et større fokus på den totale samfundsmæssige struktur som en given ny institution bliver en del af.
Dette kendetegner også traditionen for Institutionel Ethografi (IE) som siden 2005 har udviklet sig til et international netværk af undersøgelser af velfærdsinstitutionernes udvikling i kølvandet på New Public Management. IE fokuserer på brugerens/borgerens oplevelser af mødet med institutionernes regler, procedurer og indgreb i brugerens livsverden. Men det helt væsentlige for IE er ikke at reducere brugerens oplevelser til et møde med et system. ’Systemet’ består af mennesker og disse mennesker agerer i forhold til rammerne af regler og procedurer i deres forskellige positioner indenfor et større institutionelt kompleks. Alle er således afhængige af det andre foretager sig på andre niveauer i den samlede institutionelle struktur, og dette er ikke altid synligt for den enkelte og heller ikke for forskerne. Forskerens opgave er således på baggrund af interview og dokumentstudier at kortlægge de forbindelseslinjer der er mellem den enkeltes handlinger og de handlinger der foretages på andre niveauer i den samlede institutionelle organisation. Undersøgelserne i forbindelse med Når grænserne udfordres, ADHD-problematikkens sociale aspekter og Demensproblematikken er gennemført i forlængelse af disse intentioner og denne forståelse af forholdet mellem brugere, professionelle og de institutioner de er placeret i.
Som en sidste udvikling i evalueringsforskning og anvendt samfundsforskning er traditionen blevet udfordret af FN’s verdensmål for en bæredygtig udvikling. Dette betyder at man må inddrage en række spørgsmål om bæredygtighed i en evaluering af et givent institutionelt tiltag. Man bør således undersøge om de har konsekvenser for en række relevante verdensmål. Fokus på afledte effekter bliver således bredt ud og kravene til evalueringerne vokser. Ligeledes bliver evalueringerne fra start koblet til et værdigrundlag som initiativtagerne muligvis ikke har været helt opmærksomme på. De har muligvis været helt fokuseret på produktivitet og er nu konfronteret med krav som ikke umiddelbart er rentable men nødvendige ud fra et større globalt hensyn.
Høgsbro, Kjeld (2020): How to conduct ethnographies of institutions for people with cognitive difficulties. Routledge.
Høgsbro, Kjeld (2015): Evidens and research designs in applied sociology and social work research. Nordic Social Work Research 5/1 (supl.)
Høgsbro, Kjeld (2012): Evidensbegrebet i styringsteknologisk perspektiv. I Hans Wadskjær ed.: Metermålssamfundet. Aalborg Universitetsforlag.
Høgsbro, Kjeld (2010): SIMREB – towards a systematic inquiry into models for rehabilitation. I Scandinavian Journal of Disability Research vol. 12 no. 1.
Høgsbro, Kjeld et al. (2009): Sociological Practice and the Sociotechnics of Governance. In: Ann Denis and Devorah Kalekin Fishman: The ISA Handbook in Contemporary Sociology. Sage.
Høgsbro, Kjeld (2008): Kvalitative metoder i forskning og evaluering. AKF
Høgsbro, Kjeld (2004): Evaluering af socialt arbejde for udsatte grupper. I Olaf Rieper (red.): Håndbog i evaluering. AKF Forlaget.
Høgsbro, Kjeld (2004): Procesevaluering. I Olaf Rieper (red.): Håndbog i evaluering. AKF Forlaget.