Vastuullinen tutkijanarviointi

Viimeksi päivitetty 17.6.2024

Sisältö

Vastuullinen tutkijanarviointi

Vastuullisen tutkijanarvioinnin kansallinen suositus antaa ohjeita siihen, kuinka tutkijanarviointi suoritetaan alusta loppuun asti vastuullisesti. Tutkijaa arvioidaan niin rekrytointitilanteissa, urapolun eri vaiheissa kuin rahoitusta jaettaessa. Yksittäistä tutkijaa voidaan arvioida osana suurempaa kokonaisuutta silloin, kun hän toimii osana tutkimusryhmää tai hänen tutkimusorganisaatiossaan suoritetaan laaja tutkimuksen arviointi. Tutkijaa arvioidaan usein tilanteissa, joihin liittyy vertailu ja kilpailu.

Suomalainen tutkimusyhteisö on ottanut vahvasti kantaa arvioinnin kehittämiseen. Keväällä 2020 julkaistiin Tutkijanarvioinnin hyvät käytännöt -suositus, jonka on laatinut TSV:n vuonna 2018 asettama laaja-pohjainen työryhmä. Tutkijoiden edustajat ja etujärjestöt, organisaatiot, rahoittajat ja palveluntuottajat ovat yhdessä pohtineet sitä, miten tutkimusta ja tutkijoita tulisi vastuullisesti arvioida. Samalla on pohdittu, miltä näyttää elinvoimainen tutkimusyhteisö ja kiinnostavat tutkijan urapolut.

Vastuullisen arvioinnin edistäminen on TSV:n ja sen yhteydessä toimivien vastuullisen tieteen toimijoiden yhteinen tavoite. Vastuullista arviointia ovat jo vuodesta 2012 edistäneet sekä TENK:n Hyvä tieteellinen käytäntö -ohje ja Tutkijan ansioluettelomalli, että Julkaisufoorumi-luokituksen käyttöohje.

Vuonna 2019 käynnistetyn Monikielisen tiedeviestinnän Helsinki-aloitteen tavoite on kannustaa tutkimustiedon välittämistä tiedeyhteisöä laajemmalle yleisölle, tukea monikielisen julkaisutoiminnan mahdollistavia  kansallisia  julkaisukanavia  ja  edistää  monikielisyyttä  tutkimuksen  arviointi- ja rahoitusjärjestelmissä. 

Lisätietoja: www.vastuullinentiede.fi/fi/asiasana/arviointi

Kansallinen suositus

Tutkijanarvioinnin yleiset periaatteet ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus. Niitä sovelletaan suosituksessa määriteltyihin hyviin käytäntöihin, jotka koskevat seuraavia arviointiprosessin osa-alueita:

  • Arviointiprosessin rakentaminen
  • Tutkimuksen arviointi
  • Tutkijan tehtävien monimuotoisuus
  • Tutkija arvioinnin osallisena

Tutkijanarvioinnin ensimmäinen suositus koskee arviointiprosessin rakentamisen hyviä käytäntöjä. On huolehdittava, että arvioinnin päämäärät ja kriteerit ovat avoimesti osapuolten saatavilla. Arvioinnissa käytettävät aineistot sekä kerätään että niitä käytetään tarkoituksenmukaisesti ja kattavasti. Arvioijien on oltava esteettömiä tehtäväänsä ja arvioijajoukon on oltava monipuolinen. Niin kriteerien, aineistojen kuin arvioijien valinnassa tulee varmistaa yhdenvertaisuus.

Toinen osa hyviä käytäntöjä koskevista suosituksista pureutuu tutkimuksen arviointiin, jossa huomioidaan tieteellinen laatu, avoin saatavuus ja eettisyys. Tutkimuksen tieteellistä laatua voidaan arvioida perehtymällä sekä sen sisältöön että käyttämällä arvioinnin apuna tutkimusmetriikkaa. Julkaisumetriikan vastuulliseen käyttöön on suosituksessa vielä oma yhdeksänkohtainen suosituksensa.  

Kolmas osa suosituksista käsittelee tutkijan tehtävien monimuotoisuutta. Opettajana ja ohjaajana toimiminen nähdään oleellisena osana tutkijan työtä ja sitä on painotettava arvioinnissa tarkoituksenmukaisesti. Arvioinnissa huomioidaan yhteiskunnallinen vuorovaikutus ja vaikuttavuus sekä tutkijan toiminta tutkimus- ja muissa ympäristöissä. Koska ne toteutuvat eri tieteen aloilla eri tavoin eivätkä niiden mittarit ole samalla tavalla vakiintuneita kuin tieteellisen laadun arvioinnissa, on niiden kriteerit määriteltävä arvioinnissa. Tutkimusalojen erityispiirteet on muutenkin otettava arvioinnissa huomioon.

Neljäs osa suosituksista  ottaa tutkijan osaksi arviointiaan. Tutkijan on annettava myös itse arvioida tutkimustyönsä tavoitteita, merkittävyyttä ja vaikuttavuutta. Arviointi olisi hyvä suunnitella niin, että arvioitava hyötyy siitä. Arvioinnista saatu palaute auttaa arvioitavaa.

Toimeenpanosuunnitelma

Suosituksessa on määritelty tehtäviä suosituksen toimeenpanemiseksi. Näiden toteutuksesta vastaan Tutkijan vastuullisen arvioinnin ohjausryhmä:

  1. Kehitetään organisaatioille arvioinnin kypsyystasoselvitys. 
  2. Jokainen suositukseen sitoutunut tutkimusorganisaatio ja rahoittaja luo omat ohjeet vastuullisen tutkijanarvioinnin suositusten toimeenpanemiseksi ja seuraa niiden toteutumista. 
  3. Kansallisesti kehitetään ja otetaan käyttöön TENKin tutkijan ansioluettelomallin kanssa yhteensopiva tutkijan portfoliomalli (esim. Acumen) sekä portfolioportaali.
  4. Kansallisesti kehitetään riittävän monipuolinen tutkimuksen tietopohja arvioinnin tueksi.
  5. Kansallisella ja organisaatioiden tasolla huolehditaan riittävästä ohjeistuksesta ja ohjauksesta vastuulliseen arviointiin.
  6. Asiantuntija-arvioinnin arvostus ja tarvittavat resurssit taataan kaikessa arviointityössä. 
  7. Suositusta vastuulliseen tutkijanarviointiin päivitetään ja sen toteutumista seurataan

Suomen Akatemia ja Suomen yliopistot UNIFI ovat sitoutuneet suositukseen.

Organisaatioiden toiminta vastuullisen arvioinnin edistämiseksi huomioidaan osana Avoimen tieteen ja tutkimuksen seurantaa. Vastuulliseen arviointiin liittyviä tavoitteita ja toimenpiteitä määritellään Toimintakulttuurin avoimuuden linjauksessa sekä Avoimen toimintakulttuurin palveluiden itsearviointityökalussa. 

Tiedejatutkimus.fi-palvelun Tutkijan tiedot-kokonaisuuden kehittäminen tukee myös vastuullista tutkijanarviointia. 

Kansainvälinen yhteistyö

Suomalaisen tiedeyhteisön laajaan yhteistyöhön perustuva, TSV:n johdolla vuonna 2020 valmistunut Tutkijan arvioinnin hyvät käytännöt-suositus on ensimmäisiä kansallisia vastuullisen arvioinnin ohjeita maailmassa. Yhteistyö arvioinnin kehittämiseksi Suomessa jatkuu nyt tiiviissä yhteistyössä kansainvälisten kumppaneiden kanssa. TSV on allekirjoittanut arvioinnin uudistamisen kansainvälisen sopimuksen ja on allekirjoittaneiden organisaatioiden yhteenliittymän (CoARA) jäsen.

Ohjausryhmä

Ohjausryhmän tehtävä on arvioida kansallisen suosituksen päivitystarpeet, sekä seurata ja edistää toimenpidesuunnitelman toteutumista. Ohjausryhmä nimetty vuosille 2021-2024, ja se kokoontuu vähintään kerran vuodessa.

Ohjausryhmän kokoonpano:

Titteli Etunimi Sukunimi Nimeävä organisaatio
TSV:n hallituksen puheenjohtaja Ulla-Maija Forsberg TSV
Professoriliiton valtuuston puheenjohtaja Jaana Hallamaa Professoriliitto
Tiedepoliittinen erityisasiantuntija Miki Kallio Finn-ARMA
Provosti Jarmo Takala Sivistystyönantajien liitto
TENK:n puheenjohtaja Riitta Keiski TENK
Tiedejohtaja, hallituksen jäsen Kalle Korhonen Säätiöt ja rahastot ry
Tietoasiantuntija Johanna Lahikainen FUN
JY Avoimen tiedon keskuksen johtaja (Johanna Lahikaisen sijainen 30.9.2023 asti) Pekka Olsbo FUN
Palvelujohtaja Johanna Lilja  Kansalliskirjasto
Toiminnanjohtaja Sanna Marttinen Tulanet
Pääsihteeri Henriikka Mustajoki Avoin tiede/TJNK
Vararehtori Kalle-Antti Suominen Unifi
Erityisasiantuntija Susanna Näreaho Arene
Erityisasiantuntija Miia Ijäs-Idrobo Tieteentekijöiden liitto
Suomen dosenttiliiton puheenjohtaja Tiina Mahlamäki Suomen dosenttiliitto
Kehityspäällikkö Hanna-Mari Puuska CSC
Pääsihteeri Janne Pölönen JUFO
Tutkijatohtori Jyrki Savolainen Nuorten tiedeakatemia
Päällikkö – Korkeakoulun tieto- ja julkaisupalvelut Pekka Uotila TJNK
Tiedeasiainneuvos Kata-Riina Valosaari Suomen Akatemia
Opetusneuvos Saara Vihko Opetus- ja kulttuuriministeriö
Toiminnanjohtaja Lea Ryynänen-Karjalainen TSV


Ohjausryhmän kokousmuistio: Jatkuva muistio (Google Docs)

Tutkimuksen arviointia uudistava CoARA-yhteenliittymä

Tieteellisten seurain valtuuskunta allekirjoitti loppuvuodesta 2022 tutkimuksenarvioinnin uudistamista edistävän sopimuksen ja liittyi kansainvälisen CoARA-koalition  (Coalition for Advancing Research Assessment, englanniksi) jäseneksi. 

Eurooppalaisia tutkimusrahoittajia edustava Science Europe julkaisema Agreement on Reforming Research Assessment (englanniksi) -sopimus määrittää uusia tutkimuksenarvioinnin käytäntöjä, ja se on syntynyt Euroopan komission käynnistämän kansainvälisen yhteistyön tuloksena. Sopimuksen toimeenpanoa edistää allekirjoittajien muodostama maailmanlaajuinen yhteenliittymä CoARA. 

Sopimuksen keskiössä ovat tutkimustyön ja sen arvioinnin moninaisuutta, avoimuutta ja syrjimättömyyttä edistävät toimet, jotka vahvistavat tieteen ja tutkimuksen laatua ja vaikuttavuutta. Sopimus sisältää tutkimuksenarvioinnin uudistamista koskevat periaatteet, sitoumukset ja aikataulun niiden toimeenpanolle.

Sopimuksen keskeisimmän sisällön muodostavat neljä keskeistä sitoumusta:

  1. Tunnistamme tutkimuspanosten ja -urien monimuotoisuuden  tutkimustoiminnnan tarpeiden ja luonteen mukaisesti.
  2. Perustamme tutkimuksen arvioinnin ensisijaisesti laadulliseen arviointiin, jossa vertaisarvioinnilla on keskeinen sija ja jota määrällisten indikaattoreiden vastuullinen käyttö tukee.
  3. Luovumme tutkimuksen arvioinnissa lehti- ja julkaisupohjaisten mittareiden epätarkoituksenmukaisesta käytöstä. Tämä koskee erityisesti Journal Impact Factorin (JIF) ja h-indeksin epätarkoituksenmukaista käyttöä.
  4. Vältämme käyttämästä tutkimusorganisaatioiden kansainvälisiä vertailuja tutkimuksen arvioinnissa.

Lisäksi sopimuksessa on kuusi muuta sitoumusta, joilla tuetaan edellä olevien tavoitteiden toteutumista. Nämä sitoumukset liittyvät seuraaviin teemoihin: 

  • tutkimuksenarvioinnin uudistusprosessin riittävä resursointi
  • tutkimuksenarvioinnin kriteerien, prosessien ja työkalujen kehittäminen sekä niistä viestiminen ja ohjeistuksen antaminen
  • vastavuoroisen oppimisen mahdollistaminen 
  • tutkimuksenarvioinnin uudistusten edistymisestä viestiminen 
  • sen takaaminen, että uudet arviointikäytännöt ovat perusteltuja

Toukokuuhun 2024 mennessä Agreement on Reforming Research Assessment -sopimuksen on allekirjoittanut TSV:n lisäksi 37 suomalaista organisaatiota. Allekirjoittajien joukossa on lähes kaikki yliopistot, suuri osa ammattikorkeakouluista ja muun muassa Suomen Akatemia. 

CoARA edellyttää jäsenorganisaatioidensa tekevän toimintasuunnitelman (Action Plan) sitoumusten toteuttamiseksi. Organisaatioiden valmiit toimintasuunnitelmat julkaistaan ja niitä voi tarkastella CoARAn Zenodossa (englanniksi).

CoARAn Suomen kansallinen osasto

CoARAssa toimivien maakohtaisten kansallisten osastojen (englanniksi) tavoitteena on tukea CoARAn jäsenorganisaatioita sopimuksen sitoumusten täytäntöönpanossa. Kansallisen osaston toiminnassa pystytään ottamaan huomioon kyseisen maan ja eri organisaatioiden erityispiirteet. 

Suomen kansallinen osasto on aloittanut toimintansa helmikuussa 2024, ja siinä on mukana yli 40 jäsenorganisaatiota. Toimintaan ovat tervetulleita CoARAn suomalaiset uudet jäsenet sekä CoARAn ulkopuoliset jäsenet, jotka eivät ole allekirjoittaneet sopimusta.

Suomen kansallinen osasto kokoontuu verkossa kerran kuukaudessa keskustelemaan ajankohtaisista CoARAan ja vastuulliseen tutkimuksen arviointiin liittyvistä kysymyksistä sekä jakamaan toisilleen tietoa ja parhaita käytäntöjä. Tieteellisten seurain valtuuskunta koordinoi Suomen kansallisen osaston toimintaa. 

Osasto hyödyntää ja vahvistaa seuraavien olemassa olevien verkostojen yhteistyötä:

Suomen osaston tavoitteet

Suomen kansallisen osaston tehtävänä on tukea koko suomalaista tutkimusyhteisöä matkalla kohti laadullista arviointia painottavaa arviointikulttuuria, joka tunnistaa akateemisen työn täyden monimuotoisuuden ja vaikuttavuuden.

Kansallisen osaston päätavoitteet ovat:

  • lisätä tietoisuutta ja keskustelua arviointimenetelmien tärkeydestä, jotka tukevat korkealaatuisen tutkimuksen monimuotoisia piirteitä, osallistavuutta ja avointa tutkimuskulttuuria
  • saada CoARA-sitoumusten allekirjoittajiksi mukaan erilaisia sidosryhmiä, kuten ministeriöt, yliopistot, ammattikorkeakoulut, tutkimuslaitokset ja muut tutkimusta suorittavat organisaatiot, julkiset rahoituslaitokset ja yksityiset säätiöt
  • löytää vastuullisimmat arviointikäytännöt ja lieventää ristiriitoja eri arviointiprosessien välillä, koskien yksittäisiä tutkijoita ja tutkimusryhmiä, tutkimusorganisaatioita ja korkeakouluja, tutkimustuotoksia ja hankkeita
  • helpottaa CoARA-sitoumusten ja niitä tukevien suositusten (esim. DORA, ERA Policy Action 3 & 4 ja Vastuullisen tutkijanarvioinnnin kansallinen suositus) tehokasta ja oikea-aikaista täytäntöönpanoa allekirjoittajaorganisaatioissa

CoARAn kansainväliset työryhmät

CoARAn työryhmät (englanniksi) ovat kansainvälisiä teemaperustaisia käytännön yhteisöjä, jotka tekevät yhteistyötä valittuihin vastuullisen arvioinnin teemoihin liittyen. Ne mahdollistavat vastavuoroisen oppimisen sekä tiedonvaihdon. Työryhmiä on 13 ja niiden kesto on kaksi vuotta. 

Työryhmiin voivat liittyä CoARAn jäsenorganisaatiot. Työryhmien toiminnasta kiinnostuneet voivat ottaa yhteyttä CoARAn verkkosivuilla mainittuihin ryhmien yhteyshenkilöihin.

CoARAn työryhmät:

  1. Towards Open Infrastructures for Responsible Research Assessment
  2. Multilingualism and language biases in research assessment
  3. Experiments in Assessment – Idea generation, co-creation, and piloting
  4. Reforming Academic Career Assessment
  5. Responsible metrics and indicators
  6. Improving practices in the assessment of research proposals
  7. Supporting the alignment of research assessment systems with CoARA in biomedical disciplines through administrative reforms and governance
  8. Towards Transformations: Transdisciplinarity, Applied/Practice-Based Research, and Impacts
  9. Recognizing and Rewarding Peer Review
  10. Early-and-mid-Career Researchers (EMCRs) – Assessment and Research Culture
  11. TIER - Towards an Inclusive Evaluation of Research
  12. Ethics and Research Integrity Policy in Responsible Research Assessment for Data and Artificial Intelligence (ERIP)
  13. Evaluating Social Sciences and Humanities (SSH) research globally

Tieteellisten seurain valtuuskunta on mukana yhdeksässä työryhmässä ja koordinoi Multilingualism and language biases in research assessment -ryhmän työtä.

CoARA kansallisen osaston yhteystietorekisterin tietosuojaseloste.

Lisätietoja:

  • Janne Pölönen, pääsihteeri – Julkaisufoorumi (janne.polonen@tsv.fi)
  • Hanna Lahdenperä, asiantuntija – Avoin tiede ja tutkimus (hanna.lahdenpera@tsv.fi)
  • Mira Söderman, koordinaattori (mira.soderman@tsv.fi)

Sinua saattaisi kiinnostaa myös