En utvärdering kan bara fastslå att utfallet blev som det blev i det aktuella fallet. Svaret på frågan om varför det blev som det blev kräver omfattande resonemang. Liksom frågan om vad som är klokt och välgrundat agerande när vi vet vad vi vet.

Intressegrupperingar, politiska partier och sammanslutningar har allt mer börjat hävda sina förändringsanspråk med hjälp av olika utvärderingar. Utvärderingar har också blivit ett verktyg för makten genom de granskningar av olika verksamheter som utförs.

Massmedia har dessutom upptäckt det nyhetsvärde som olika utvärderingar har och skapar ofta sensation genom att peka på deras resultat. Många som utvärderas uppfattar sig emellertid som oegentligt beskrivna.

Utvärderingshysterin har en allvarligt negativ sida. Utvärderingar formuleras vanligen i ett normativt språk. De uttrycker åsikter om hur något borde göras och vara. Detta kan aldrig bli tillräckligt precist. De som berörs upplever sig därför orättmätigt anklagade genom bristen i förståelsen för deras praktik och de svårigheter de möter.

De utvärderingsmetoder, som används måste av formella skäl standardisera och normera de berördas komplexa erfarenheter, överväganden och ambitioner. Slutsatserna blir därmed missvisande, triviala och ytliga. Man borde istället ha studerat de unika ”fallen” som sådana och förstått deras komplexa karaktär för att i grunden förstå hur det skulle kunna vara istället.

Det är ytterst sällan man kan anta att det man utvärderar styrs av någon lagbundenhet som återkommer i alla tänkbara fall. Även om man kan göra statistiska sambandsanalyser utifrån gjorda observationer, så är vanligen variationen så stor att ingenting med säkerhet kan sägas om det enskilda fallet. Därför blir utvärderingar baserade på konventionella utvärderingsmetoder väldigt ofta meningslösa och oanvända.

Många utvärderingar syftar också till att avgöra om man i framtiden skall använda en viss plan eller en viss metod för att komma till rätta med ett visst problem eller svårighet. För att förstå hur detta skulle kunna gå till måste man då formulera ett så kallat kontrafaktiskt påstående. Kontrafaktiska påståenden handlar om vad som troligen skulle hänt om något annat hade gjorts än det som brukar göras eller än det som faktiskt gjordes. Kontrafaktiska påståenden omvandlas sedan vanligen osynligt och oreflekterat till prognostiska påståenden, som används för att föreslå eller föreskriva vad som nu bör göras. Man etablerar således snabbt, ofta bara på statistiska samband, en föreställning om en orsak-verkan relation som man egentligen inte vet något om.

Sådana prognostiska påståenden blir då mycket osäkra eftersom redan det kontrafaktiska påståendet ofta är svagt underbyggt. Eventuella faktiska relationer i systemet är ofta okända och vanligen alltför komplexa för att beskrivas. Ambitionerna med åtgärden är dessutom ofta dåligt förankrade i de berörda individernas syn på sin omvärld. Man kan då inte lita till deras hjälp att styra utvecklingen dit man själv vill. Det är inte underligt att löftena bryts.

Denna text kan laddas ner som pdf här

Tillbaka till artikelkategorier

___________________________________________

Studien av operatörsmedverkan på SSAB i Borlänge – ett bidrag till den nya kunskapsproduktionen

av Bengt-Åke Wennberg

Idéhistoriker har sedan länge diskuterat humanioras kris vid universitet och högskolor. Nyligen publicerades en artikel av Anders Burman i SvD som hade titeln ”Mobilisering för den onyttiga utbildningen” . Burman konstaterar att det inte bara är humaniora som befinner sig i en krissituation. Det gäller hela universitetsmodellen så som den utformades på 1800-talet. Burman refererar till ett temanummer av Psykoanalytisk Tidsskrift som behandlar denna fråga och i vilken Sven-Erik Liedman förde fram liknande synpunkter.

En tidigare generalsekreterare i samarbetsorganisationen för universiteten i det brittiska samväldet – Michael Gibbons – har i två böcker och ett antal artiklar behandlat frågan om forskningens samhällskontrakt – alltså frågan om varför forskningsinstitutioner över huvud taget finns och hur samarbetet mellan forskning och det övriga samhället bör utformas. Han konstaterar att de gamla gränserna mellan vilken kunskapsproduktion som skall höra till den traditionella forskningen och vilken kunskapsproduktion som bör pågå i samhället i övrigt håller på att luckras upp.

Hela artikeln kan laddas ner som pdf här

__________________________________________

Utvärdering med fokusgrupper

av Monica Hane

Utvärderingar kan ha olika syften. Ett syfte kan vara att fastställa att utföraren har gjort vad denne åtagit sig och använt de resurser som tilldelats enligt de överenskommelser som gjorts. Ett annat syfte kan vara att låta en expert – eller kunder – se på arbetet och bedöma om det är bra eller dåligt gjort. Ett tredje syfte, som egentligen borde vara det allra mest naturliga, vore att utforska vad erfarenheten från det som gjorts säger om nästa steg i processen. Fokusgrupper som utvärderingsmetod är bäst lämpade för denna senare användning. I denna artikel beskrivs detta närmare.

Hela artikeln kan laddas ner som pdf här

____________________________________________

Om kontrafaktiska analyser

Den auktoritära eran är slut. Därför blir politiska debatter så flummiga. Kontrafaktiska analyser kan hjälpa till att avslöja olämpliga auktoritära referenser till vetenskapliga studier – exempelvis när det gäller utvärderingar eller den aktuella politiska argumentationen för ”tidiga betyg”.

Hela artikeln kan laddas ner som pdf här

___________________________________________