Tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin haasteet

Tiedemaailmassa on sitouduttu yhä enenevissä määrin tieteenalojen ominaispiirteitä kunnioittavaan vastuulliseen arviointiin. Arvioinnin pinttyneet tavat kuitenkin pysyvät. Yksi klassisimmista arvioinnin ongelmista on se, että mitataan sitä, mikä on mitattavissa, vaikka mittareilla saataisiin kiinni vain murto-osa arvioinnin kohteena olevasta ilmiöstä.

Tutkimuksen vastuullisen arvioinnin haasteet liittyvät niin tieteelliseen kuin yhteiskunnalliseen vaikuttavuuteen. Tässä artikkelissa keskityn tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin haasteisiin ja niiden juurisyihin.

Tutkimuksen yhteiskunnallista vaikuttavuutta voidaan arvioida sekä potentiaalisten vaikutusten valossa (ex ante) että tutkimuksen toteuttamisen jälkeen (ex post). Vaikuttavuutta voidaan arvioida niin kansallisella, yliopisto-, projekti- kuin tutkijatasolla. Esimerkiksi laajalla tasolla voi olla mielekästä kuvata tutkimus- ja kehittämistoimintaan sijoitettujen resurssien vaikuttavuutta indikaattorien – kuten yleisen eliniän, väestön koulutustason, kasvihuonekaasujen päästömäärän tai bruttokansantuotteen – valossa. Mitä pienempään vaikuttavuuden arvioinnin yksikköön kuitenkin mennään, sitä haastavampaa vaikutusten jäljittäminen ja linkittäminen tutkimukseen on.

Tutkimuskirjallisuus tunnistaa vaikuttavuuden arvioinnin haasteet

Tutkimuskirjallisuudessa on tunnistettu neljä tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin keskeistä haastetta. Ensimmäinen niistä liittyy kausaalisuuteen eli vaikuttavuuden aikaansaamien syiden tunnistamiseen. Koska maailma ei ole laboratorio, voi syy-seuraussuhteiden todentaminen olla jo lähtökohtaisesti mahdotonta – erityisesti, kun tutkitaan sosiaalisen maailman ilmiöitä.

Toinen haaste juontaa juurensa itse ilmiön, yhteiskunnallisen vaikuttavuuden, moninaisesta luonteesta. Vaikutukset voivat olla luonteeltaan moniulotteisia ja epäsuoria, joskus sattumanvaraisiakin.

Kolmanneksi tutkimus tyypillisesti ammentaa edeltäjistään. Näin ollen vaikuttavuuden kohdentaminen juuri tiettyyn tutkimukseen on haastavaa, käytännössä jopa mahdotonta.  

Neljäs vaikuttavuuden todentamisen haasteista liittyy aikaan. Tutkimuksen vaikuttavuus voi ilmetä vasta vuosien tai vuosikymmenten jälkeen tutkimustulosten julkaisemisesta. Tutkimukselle pitkän ajan kuluessa toteutuva vaikuttavuus on välittömiä vaikutuksia tyypillisempää, mutta vaikuttavuuden arvioinnin näkökulmasta todentamisen haasteet kasvavat sen mukaan, mitä kauemmin aikaa tutkimuksesta kuluu.

Ratkaisuna vaikuttavuuden todentamisen haasteisiin on nähty laadulliset vaikuttavuuskuvaukset. Suunnannäyttäjä tässä kehityksessä on ollut Ison-Britannian tutkimuksen arviointi, Research Excellence Framework (REF). Keskimäärin neljän sivun pituisissa vaikuttavuuskuvauksissa tutkijoiden tulee esittää myös todisteet tutkimuksensa vaikuttavuudesta. REFiin sisältyvä todistamisen vaade on vastuullisen arvioinnin näkökulmasta erityisen haasteellinen. 

Kolme tapaa hyödyntää tutkimustietoa

Tutkimuskirjallisuudessa on vakiintunut kolme erilaista tapaa käyttää tutkimustietoa: instrumentaalinen, käsitteellinen ja symbolinen. Tärkeimmät erot käsitteiden välillä pohjaavat kahteen kysymykseen: missä määrin tutkimusta arvotetaan sen sisällön (instrumentaalinen ja käsitteellinen) ja/tai strategisen potentiaalin (symbolinen) perusteella, ja käytetäänkö tutkimusta suoraan tiettyjen ongelmien ratkaisemiseen (instrumentaalinen) vai pohjaako vaikuttavuus ilmiöiden paremman ymmärtämisen ja käsitteellistämisen kautta syntyvään epäsuorempaan vaikuttavuuteen (käsitteellinen)?

Tutkimuksen instrumentaalisella käytöllä viitataan tutkimuksen suoriin ja välittömiin vaikutuksiin yhteiskunnassa. Kun tutkimusta hyödynnetään instrumentaalisesti, tietyt yhteiskunnalliset toimet tai muutokset yhdistyvät suoraan tietyn tutkimustuloksen soveltamiseen.

Instrumentaalista vaikuttavuutta on jaettu edelleen kahteen alalajiin. Tietoon perustuvaan malliin kiteytyy tutkimuksen suoraviivaisen hyödyntämisen ydin, eli ajatus siitä, että uuden tiedon pelkkä läsnäolo ajaa sen hyödyntämiseen yhteiskunnassa. Ongelmanratkaisuun perustuva tiedon hyödyntämisen tapa taas viittaa prosessiin, jossa toimijat etsivät tietoa jo ennalta tunnistetun ongelman ratkaisemiseksi.

Molempiin malleihin sisältyy perusolettamus, jonka mukaan asianmukaisen tiedon ollessa saatavilla jatkotoimet toteutetaan sen mukaisesti. Tutkimustiedon instrumentaaliset hyödyt perustuvat tyypillisemmin tiettyyn yksittäiseen tutkimustulokseen kuin pidemmän ajan kuluessa tuotettuihin useampiin tutkimuksiin. 

Tutkimuskirjallisuudessa on kiinnitetty huomiota siihen, että tutkimuksen yhteiskunnallista vaikuttavuutta arvioitaessa tutkimustiedon instrumentaalinen hyödyntäminen nähdään oikeana tapana hyödyntää tutkimustietoa. Instrumentaalisen tutkimustiedon oletettua suurta roolia tiedon hyödyntämisessä on kuitenkin kritisoitu. Ensinnäkin asiaankuuluvaa tutkimusta kyllä tuodaan mukaan prosesseihin, mutta tutkimustieto ei silti saa aikaan muutoksia ja päätökset tehdään usein olemassa olevaan tutkimukseen perustuvasta neuvonnasta huolimatta.

Perustavanlaatuiset yhteiskunnalliset muutokset ovat usein epäsuoria ja hajanaisia sekä toteutuvat asteittain.

Toiseksi tutkimustulokset puhuvat sen puolesta, että perustavanlaatuiset yhteiskunnalliset muutokset ovat usein epäsuoria ja hajanaisia sekä toteutuvat asteittain. Carol Weiss kuvasi artikkelissaan ”Knowledge Creep and Decision Accretion” tätä tiedon asteittaista ja hidasta muutosvoimaa tiedon ryömimisenä (eng. knowledge creep) yhteiskuntaan. Uusi tieto ja lisääntynyt ymmärrys ilmiöistä muuttavat hiljalleen käsitteitä ja sanastoja, joilla nimeämme asioita ja ilmiöitä. Näin ollen käsitteellinen tiedon hyödyntäminen saa ajan myötä aikaan myös yhteiskunnallisia muutoksia.

Siinä missä instrumentaaliset ja käsitteelliset tutkimustavat olettavat, että tutkimusta käytetään sen sisällön vuoksi, tutkimusta käytetään myös strategisista syistä jo ennalta määrätyllä tavalla. Tutkimuksen avulla organisaatiot ja toimijat voivat esimerkiksi pyrkiä vahvistamaan asemaansa yhteiskunnassa tai ilmaista ottavansa jonkin asian vakavasti. Käytettäessä tutkimusta symbolisesti yhteiskunnalliset muutokset eivät perustu tutkimustietoon vaan tutkimusta käytetään ikään kuin leimasimena asioiden ajamisessa.

Vaikuttavuusnarratiivit eivät poista käsitteellisen vaikuttavuuden todentamisen ongelmia

Silje Tellmannin kanssa tekemämme tutkimuksen mukaan suurin haaste vaikuttavuuden arvioinnissa liittyy yhteiskunnallisten muutosten kannalta perustavanlaatuisempaan, pidemmän ajan kuluessa ilmenevään käsitteelliseen vaikuttavuuteen. Käsitteellinen vaikuttavuus on tyypillistä erityisesti ihmistieteille. Aineistomme koostui tutkimuksen arviointitarkoituksia varten tuotetuista sosiologian alan vaikuttavuusnarratiiveista Norjassa (n = 24) ja Isossa-Britanniassa (n = 29).

Kuvatessaan tutkimuksensa hyötyjä sosiologit käyttivät ilmauksia kuten lisää ymmärrystä, muokkaa nykykeskusteluja, herättää kiinnostusta, esittää ongelmia uudessa valossa ja herkistää päättäjiä. Käytetyt ilmaukset kuvaavat sosiologialle tyypillistä tietämistä yleisluontoisena, laajana ja moninäkökulmaisena verrattuna luonteeltaan eksaktimpiin luonnontieteellisiin aloihin.

Tutkimuksen yhteiskunnallisten hyötyjen raportoinnissa vaikuttavuuden todentamisen tavoite ajoi kuitenkin sosiologisten tutkimusintressien edelle. Sosiologit nostivat esille tutkimuksensa vaikutuksina instrumentaalisia, konkreettisia hyötyjä, jotka olivat todennettavissa mutta vaikuttivat tutkimusaiheen näkökulmasta toisarvoisilta. Esimerkiksi eriarvoisuuden dynamiikkoja tarkastelevassa tutkimuksessa yhtenä tutkimuksen yhteiskunnallisena vaikutuksena korostettiin yhteistyösopimusta media-alan yrityksen kanssa. Huomiota herättävää oli, että tutkittujen aiheiden näkökulmasta olennaiset yhteiskunnalliset haasteet, kuten eriarvoisuuden vähentäminen ja moniarvoisuuden lisääminen, joutuivat tyytymään toisarvoiseen rooliin vaikuttavuusnarratiiveissa.

Tutkimuksemme valossa tämä tulos palautui sosiologialle ja yleensä yhteiskuntatieteille ominaiseen käsitteellisen vaikuttavuuden todentamisen dilemmaan, jota tutkimuksen hyötyjen laadullinenkaan raportointi ei pystynyt ratkaisemaan.

Yhteiskunnallisen vaikuttavuuden arvioinnin tulee perustua tutkitulle tiedolle

Idealististen tavoitteiden sijaan tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin tulisi perustua tutkitulle tiedolle eli ymmärrykselle siitä, missä määrin pystymme vaikuttavuutta todentamaan. Tutkittuun tietoon perustuva vastuullinen arviointi edellyttää sen hyväksymistä, että kaikki ei ole mitattavissa.

Vastuullisuus voisi arvioinneissa tarkoittaa, että katse kohdistetaan todennettavissa olevan vaikuttavuuden ohella tutkimuksen potentiaaliin: tutkijoiden valistuneisiin arvioihin siitä, millainen merkitys esimerkiksi sillä, että tutkimuksessa on tuotettu uutta tietoa, lisätty ymmärrystä tai onnistuttu tunnistamaan uusia ilmiöitä, on tutkimuksen hyödyntäjien ja yhteiskunnan näkökulmasta niin nykyhetkessä kuin lähitulevaisuudessa. Vielä käytännönläheisemmin vastuullisen arvioinnin ideologia tulisi näkyä arvioinneissa niin, että instrumentaalisia, suoria hyötyjä ei arvotettaisi vaikeammin todennettavissa olevia käsitteellisiä hyötyjä arvokkaimmiksi.

Tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin tulisi perustua ymmärrykselle siitä, missä määrin pystymme vaikuttavuutta todentamaan.

Yhteiskunnallisesti vaikuttavaa tutkimusta voitaisiin tukea myös siirtämällä arviointien painopistettä vaikutusten jäljittämisestä vaikuttavuutta edistävään vuorovaikutukseen ja sitä tukeviin rakenteisiin. Koska tutkimusta ei tehdä tyhjiössä, arvioinneissa olisi hyvä ottaa mukaan myös taustaorganisaatioiden vastuu yhteiskunnallisesti vaikuttavan tutkimuksen tekemisen mahdollistajina.

Huolehtimalla siitä, että tutkimuksen yhteiskunnallisen vaikuttavuuden arviointi perustuu tieteen ulkopuolelta tulevien tarpeiden sijaan tutkimuksen logiikalle, turvataan vastuullisen arvioinnin ydin tieteenalakulttuurien erot huomioivasta tieteen moniarvoisuudesta. Samalla varmistetaan, että tutkimusta tukemaan tarkoitetut akateemiset käytännöt eivät käänny itseään vastaan.

Reetta Muhonen on kollegiumtutkija Turun ihmistieteiden tutkijakollegiumissa ja TSV:n hallituksen jäsen.

_{Lisätietoja:}

_{Bornmann L. (2013) What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of the American Society for Information Science and Technology 64(2), 217–233.
Martin, B.R. (2007) Assessing the impact of basic research on society and the economy. Paper presented at the Rethinking the impact of basic research on society and the economy. WF-EST International Conference, 11 May 2007, Vienna, Austria
Muhonen R. & Tellmann, S. (xxxx) Challenges in reporting societal impact for research evaluation purposes – case of sociology. Handbook on Research Assessment in Social Sciences. Tim C.E. Engels & Emanuel Kulczycki (toim.) Edward Elgar Publishing. Hyväksytty julkaistavaksi, helmikuu 2021.
Nutley, S. M., et al. (2007) Using evidence: how research can inform public services. Bristol, Policy Press.
Weiss, C. H. (1979) The Many Meanings of Research Utilization. Public Administration Review 39(5), 426–431.
Weiss, C. H. (1980) Knowledge Creep and Decision Accretion. Knowledge 1(3), 381–404}