Utmaningar med utvärdering av forskningens samhälleliga genomslag

I vetenskapsvärlden har man i allt högre grad förbundit sig till ansvarsfull utvärdering som beaktar de olika vetenskapsområdenas särdrag. De inrotade sätten att genomföra utvärderingen kvarstår dock. Ett av de mest klassiska problemen med utvärdering är att man mäter det som är mätbart, även om man med mätarna kan fånga endast en bråkdel av det fenomen som är föremål för utvärderingen.

Utmaningarna med en ansvarsfull utvärdering av forskning gäller för såväl vetenskapligt som samhälleligt genomslag. I den här artikeln fokuserar jag på utmaningarna med att utvärdera forskningens samhälleliga genomslag och grundorsakerna till utmaningarna.

Forskningens samhälleliga genomslag kan bedömas både på basis av de potentiella effekterna (ex ante) och effekterna efter att undersökningen genomförts (ex post). Genomslaget kan utvärderas på såväl nationell nivå som på universitets-, projekt- och forskarnivå. Till exempel kan det på ett övergripande plan vara meningsfullt att beskriva genomslaget av de resurser som investerats i forsknings- och utvecklingsverksamhet med hjälp av indikatorer – som allmän livslängd, befolkningens utbildningsnivå, mängden växthusgaser eller bruttonationalprodukten. Ju mindre helheten för utvärderingen av effekterna är, desto svårare är det att spåra effekterna och länka dem till forskningen.

Forskningslitteraturen identifierar utmaningarna i utvärderingen av genomslaget

I forskningslitteraturen har man identifierat fyra centrala utmaningar i utvärderingen av forskningens samhälleliga genomslag. Den första gäller kausalitet, det vill säga identifieringen av orsakerna bakom genomslaget. Eftersom världen inte är ett laboratorium kan det i princip redan som utgångspunkt vara omöjligt att verifiera orsakssamband – särskilt när man undersöker fenomen i den sociala världen.

Den andra utmaningen har sin grund i själva fenomenets, det samhälleliga genomslagets, mångsidiga karaktär. Effekterna av forskningen kan vara mångfacetterade och indirekta, ibland till och med slumpmässiga.

För det tredje är det typiskt att forskningen bygger på tidigare forskningsmodeller. Därför är det utmanande, i praktiken till och med omöjligt, att härleda effekterna till en viss forskning. 

Den fjärde utmaningen i verifieringen av genomslaget har att göra med tiden. Effekterna av forskningen kan ta sig uttryck först år eller årtionden efter publiceringen av forskningsresultaten. Det är mer typiskt att forskningen får effekter som inverkar under en lång tid än att man ser en direkt inverkan, men med tanke på utvärderingen av effekterna ökar utmaningarna i att verifiera dessa ju längre tid som gått sedan forskningen gjordes.

Man har sett kvalitativa beskrivningar av effekterna som en lösning på problemet med att verifiera genomslaget. En vägvisare i denna utveckling har varit det brittiska utvärderingssystemet av forskning, Research Excellence Framework (REF). I en beskrivning av genomslaget på i genomsnitt fyra sidor ska forskarna också presentera bevis på effekterna av sin forskning. Kravet på verifiering som ingår i REF är särskilt utmanande med tanke på en ansvarsfull utvärdering. 

Tre sätt att utnyttja forskningsdata

I forskningslitteraturen har det etablerats tre olika sätt att använda forskningsdata: instrumentell, konceptuell och symbolisk. De viktigaste skillnaderna mellan begreppen grundar sig på två frågor: i vilken mån bedöms forskningen utifrån dess innehåll (instrumentell och konceptuell) och/eller strategiska potential (symbolisk), och används forskningen direkt för att lösa specifika problem (instrumentell) eller grundar sig effekten på en mer indirekt effekt som uppstår genom bättre förståelse och konceptualisering av fenomen (konceptuell)?

Med instrumentell användning av forskning syftar man på forskningens konkreta och direkta påverkan på samhället. När forskningen används på ett instrumentellt sätt sammankopplas vissa samhälleliga åtgärder eller förändringar direkt till tillämpningen av ett visst forskningsresultat.

Det instrumentella genomslaget har delats in i två underkategorier. I den kunskapsbaserade modellen utkristalliseras kärnan i den direkta tillämpningen av forskning, dvs. tanken att enbart närvaron av ny information leder till att samhället utnyttjar den. Metoden som grundar sig på problemlösning syftar å sin sida på en process där aktörerna söker information för att lösa ett redan på förhand identifierat problem.

I båda modellerna ingår grundantagandet att då lämplig information finns tillgänglig, vidtas fortsatta åtgärder i enlighet med denna. Den instrumentella nyttan med forskningsdata baserar sig vanligtvis på ett enskilt, specifikt forskningsresultat och inte på flera forskningar som gjorts under en längre tid. 

I forskningslitteraturen har man fäst uppmärksamhet vid att ett instrumentellt utnyttjande av forskningsdata ses som det rätta sättet att utnyttja forskningsdata vid utvärderingen av forskningens samhälleliga genomslag. Antagandet att instrumentell användning av forskningsdata har en så stor roll i utnyttjandet av information har dock kritiserats. För det första involveras nog relevant forskning visserligen i processerna, men forskningresultaten medför ändå inga förändringar och besluten fattas ofta oberoende av den rådgivande information som finns tillgänglig via den befintliga forskningen.

Forskningsresultaten talar för att grundläggande samhälleliga förändringar ofta är indirekta, splittrade och successiva.

För det andra talar forskningsresultaten för att grundläggande samhälleliga förändringar ofta är indirekta, splittrade och successiva. Carol Weiss beskrev i sin artikel "Knowledge Creep and Decision Accretion" denna successiva och långsamma förändringskraft som information som kryper in (eng. knowledge creep) i samhället. Ny kunskap om och ökad förståelse för fenomen förändrar småningom begrepp och vokabulärer med vilka vi namnger saker och fenomen. Därmed leder det konceptuella användandet av information med tiden också till samhälleliga förändringar.

Medan instrumentella och konceptuella forskningsmetoder antar att forskningen används på grund av dess innehåll, används forskningen också av strategiska skäl på ett på förhand bestämt sätt. Med hjälp av forskning kan organisationer och aktörer till exempel försöka stärka sin ställning i samhället eller visa att de tar något på allvar. När forskningen används symboliskt grundar sig de samhälleliga förändringarna inte på forskningsdata, utan forskningen används som en stämpel för att driva ärenden.

Narrativen om genomslag tar inte bort problemen med att verifiera det konceptuella genomslaget

Enligt en undersökning som vi gjort tillsammans med Silje Tellmann är den största utmaningen i utvärderingen av genomslaget med tanke på samhälleliga förändringar de mer grundläggande konceptuella effekterna som framkommer på längre sikt. Konceptuella effekter är typiska särskilt för humanistiska vetenskaper. Vårt material bestod av narrativ om genomslag som producerats för utvärderingssyften inom det sociologiska området inom forskningen i Norge (n = 24) och Storbritannien (n = 29).

När sociologerna beskrev nyttan med sin forskning använde de uttryck som till exempel öka förståelsen, forma de nuvarande diskussionerna, väcka intresse, presentera problem i ett nytt ljus och rikta beslutsfattarnas uppmärksamhet. De uttryck som användes beskriver den för sociologin typiska allmänna, omfattande och mångperspektiviska vetenskapen, jämfört med de till sin karaktär mer exakta naturvetenskapliga områdena.

I rapporteringen av forskningens samhälleliga nytta var målet att verifiera genomslaget dock viktigare än de sociologiska forskningsintressena. Som effekter av sin forskning lyfte sociologerna fram instrumentell, konkret nytta som kunde verifieras, men som verkade vara sekundära ur forskningsämnets synvinkel. Till exempel betonades ett samarbetsavtal med ett företag inom mediebranschen som en samhällelig effekt av en undersökning som granskade ojämlikhetens dynamik. Det som var anmärkningsvärt var att de samhälleliga utmaningarna som var väsentliga med tanke på de undersökta ämnena, såsom att minska ojämlikheten och öka mångfalden, var tvungna att nöja sig med en sekundär roll i narrativen om genomslag.

I ljuset av vår forskning återgick detta resultat på det för sociologin och samhällsvetenskaperna typiska dilemmat för verifiering av konceptuella effekter, som inte heller den kvalitativa rapporteringen av nyttan med forskningen kunde lösa.

Utvärderingen av det samhälleliga genomslaget ska grunda sig på forskningsbaserad information

I stället för att basera sig på idealistiska mål bör utvärderingen av forskningens samhälleliga genomslag grunda sig på forskningsbaserad information, dvs. förståelsen för i vilken mån vi kan verifiera genomslaget. En ansvarsfull utvärdering som grundar sig på forskningsbaserad information förutsätter att man godkänner att allt inte går att mäta.

Ansvarsfullhet kunde i utvärderingarna innebära att blicken riktas mot forskningspotentialen vid sidan av den verifierbara effekten: mot de upplysta uppskattningarna forskarna gjort av vilken betydelse det till exempel har, såväl i nuläget som i den närmaste framtiden, att man har producerat ny information, ökat förståelsen eller lyckats identifiera nya fenomen. Ideologin för ansvarsfull utvärdering bör på ett ännu mer pragmatiskt sätt synas i utvärderingarna, så att den instrumentella, direkta nyttan inte värdesätts mer än den konceptuella nyttan som är svårare att bevisa.

Utvärderingen av forskningens samhälleliga genomslag bör grunda sig på forskningsbaserad information, dvs. förståelsen för i vilken mån vi kan verifiera genomslaget.

Forskning som påverkar samhället kan också stödas genom att tyngdpunkten i utvärderingen flyttas från att spåra effekterna till interaktion som främjar effekterna och strukturerna som stöder dem. Eftersom forskning inte utförs i ett vakuum vore det bra att i utvärderingen också inkludera bakgrundsorganisationernas ansvar som möjliggörare av forskning som påverkar samhället.

Genom att se till att utvärderingen av forskningens samhälleliga genomslag grundar sig på forskningslogik i stället för på behov utanför vetenskapen, tryggar vi kärnan i ansvarsfull utvärdering: mångfald inom vetenskapen som beaktar skillnaderna mellan de olika vetenskapsområdenas kulturer. Samtidigt säkerställer vi att den akademiska praxis som är avsedd att stödja forskningen inte vänder sig mot sig själv.

Reetta Muhonen är kollegieforskare vid Turku Institute for Advanced Studies och medlem i FSDs styrelsen.

_{Närmare information:
Bornmann L. (2013) What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of the American Society for Information Science and Technology 64(2), 217–233.
Martin, B.R. (2007) Assessing the impact of basic research on society and the economy. Paper presented at the Rethinking the impact of basic research on society and the economy. WF-EST International Conference, 11 May 2007, Vienna, Austria
Muhonen R. & Tellmann, S. (xxxx) Challenges in reporting societal impact for research evaluation purposes – case of sociology. Handbook on Research Assessment in Social Sciences. Tim C.E. Engels & Emanuel Kulczycki (toim.) Edward Elgar Publishing. Godkänd för publicering, februari 2021.
Nutley, S. M., et al. (2007) Using evidence: how research can inform public services. Bristol, Policy Press.
Weiss, C. H. (1979) The Many Meanings of Research Utilization. Public Administration Review 39(5), 426–431.
Weiss, C. H. (1980) Knowledge Creep and Decision Accretion. Knowledge 1(3), 381–404}