Tutkijanarvioinnin hyvät käytännöt

Arviointi vaikuttaa tutkijan työhön. Tutkijaa arvioidaan niin rekrytointitilanteissa, urapolun eri vaiheissa kuin rahoitusta jaettaessa. Yksittäistä tutkijaa voidaan arvioida osana suurempaa kokonaisuutta silloin, kun hän toimii osana tutkimusryhmää tai hänen tutkimusorganisaatiossaan suoritetaan laaja tutkimuksen arviointi. Tutkijaa arvioidaan tilanteissa, joihin liittyy vertailu ja kilpailu.

Jotta arviointi toteutuisi vastuullisesti, sen suorittamiseen on laadittu tutkimusyhteisössä Tutkijanarvioinnin hyvät käytännöt – Vastuullisen tutkijanarvioinnin kansallinen suositus, joka julkistettiin keväällä 2020.

Vastuullista asiantuntija-arviointia ja tutkimusmetriikkaa

Kansainväliset 2010-luvun julkilausumat, kuten San Francisco Declaration on Research Assessment eli niin sanottu DORA-julistus, Leidenin tutkimusmetriikkamanifesti, Metric Tide -raportti ja Hongkongin manifesti suosittavat, että metriikkamittarit eivät syrjäyttäisi asiantuntijoiden tekemää tutkijanarviointia. Suomessa julkaisufoorumi on laatinut vuonna 2019 käyttöohjeen, kuinka julkaisufoorumin tasoluokitusta voidaan käyttää osana tutkijanarviointia niin, että se vastuullisesti tukee asiantuntijoiden suorittamaa arviointia.  

Vastuullinen tutkimusmetriikan käyttö voi olla osa tutkijanarvioinnin kokonaisuutta, kun sen ja asiantuntija-arvioinnin menetelmät täydentävät toisiaan. Käytettävän metriikan on oltava silloin monipuolista, kattavaa ja vastuullisesti tuotettua.

Vastuullinen tutkimusmetriikan käyttö voi olla osa tutkijanarvioinnin kokonaisuutta, kun sen ja asiantuntija-arvioinnin menetelmät täydentävät toisiaan.

Metriikan lisäksi asiantuntija-arviointikin voi vinoutua – arvioijan subjektiivisuuden, puolueellisuuden, tiedostamattomienkin asenteiden ja arvojen, asiantuntemusalan ja arviointiprosessin läpinäkymättömyyden vuoksi.

Tutkijanarvioinnin hyvät käytännöt – Vastuullisen tutkijanarvioinnin kansallinen suositus opastaa, kuinka tutkijanarviointi suoritetaan alusta loppuun asti vastuullisesti. Tässä kirjoituksessa käydään läpi suosituksen pääpiirteet, joista lisää voi lukea itse suosituksesta. Lisäksi suositus sisältää toimeenpanosuunnitelman, jolla tutkijanarvioinnin hyvät käytännöt jalkautetaan koko tutkimusyhteisöön.

Tutkijanarvioinnin yleiset periaatteet ja hyvä käytäntö

Tutkijanarvioinnin yleiset periaatteet ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus. Niitä sovelletaan suosituksessa määriteltyihin hyviin käytäntöihin, jotka koskevat seuraavia arviointiprosessin osa-alueita:

1. Arviointiprosessin rakentaminen
2. Tutkimuksen arviointi
3. Tutkijan tehtävien monimuotoisuus
4. Tutkija arvioinnin osallisena

Tutkijanarvioinnin ensimmäinen suositus koskee arviointiprosessin rakentamisen hyviä käytäntöjä. On huolehdittava, että arvioinnin päämäärät ja kriteerit ovat avoimesti osapuolten saatavilla. Arvioinnissa käytettävät aineistot sekä kerätään että niitä käytetään tarkoituksenmukaisesti ja kattavasti. Arvioijien on oltava esteettömiä tehtäväänsä ja arvioijajoukon on oltava monipuolinen. Niin kriteerien, aineistojen kuin arvioijien valinnassa tulee varmistaa yhdenvertaisuus.

Toinen osa hyviä käytäntöjä koskevista suosituksista pureutuu tutkimuksen arviointiin, jossa huomioidaan tieteellinen laatu, avoin saatavuus ja eettisyys. Tutkimuksen tieteellistä laatua voidaan arvioida perehtymällä sekä sen sisältöön että käyttämällä arvioinnin apuna tutkimusmetriikkaa. Julkaisumetriikan vastuulliseen käyttöön on suosituksessa vielä oma yhdeksänkohtainen suosituksensa.  

Kolmas osa suosituksista käsittelee tutkijan tehtävien monimuotoisuutta. Opettajana ja ohjaajana toimiminen nähdään oleellisena osana tutkijan työtä ja sitä on painotettava arvioinnissa tarkoituksenmukaisesti. Arvioinnissa huomioidaan yhteiskunnallinen vuorovaikutus ja vaikuttavuus sekä tutkijan toiminta tutkimus- ja muissa ympäristöissä. Koska ne toteutuvat eri tieteen aloilla eri tavoin eivätkä niiden mittarit ole samalla tavalla vakiintuneita kuin tieteellisen laadun arvioinnissa, on niiden kriteerit määriteltävä arvioinnissa. Tutkimusalojen erityispiirteet on muutenkin otettava arvioinnissa huomioon.

Neljäs osa suosituksista  ottaa tutkijan osaksi arviointiaan. Tutkijan on annettava myös itse arvioida tutkimustyönsä tavoitteita, merkittävyyttä ja vaikuttavuutta. Arviointi olisi hyvä suunnitella niin, että arvioitava hyötyy siitä. Arvioinnista saatu palaute auttaa arvioitavaa.

Tutkijanarviointi muokkaa ja suuntaa tutkimusta. Koko tutkimusyhteisön tulee ottaa vastuu tutkijanarvioinnin periaatteista ja käytännöistä. Suositus vastuulliseen tutkijanarviointiin luo perustan toimivalle, monimuotoiselle ja hyvinvoivalle tutkimusyhteisölle.