Avoin tiede muuttaa vertaisarvioinnin käytäntöjä

Avoin vertaisarviointi on osa laajempaa avoimen julkaisemisen ja avoimen tieteen kokonaisuutta. Vertaisarvioinnin keskeinen asema tiedemaailmassa näkyy yliopistojen rekrytointiprosesseissa, kilpaillussa tutkimusrahoituksessa sekä julkaisemisen arviointi- eli referee-järjestelmässä. Julkaisemiseen liittyvät muutokset ja avoimen tieteen eetos suuntaavat väistämättä myös vertaisarviointia koskevia käytäntöjä.

Tavoitteena tutkimusprosessin läpinäkyvyys

Tällä hetkellä vallitseva käytäntö on, että vertaisarviointi julkaisuprosessin osana on suljettu. Perinteisissä vertaisarviomalleissa toimittajat kutsuvat ja valitsevat vertaisarvioijat, jotka kirjoittavat arviot toisistaan riippumatta. Lausunnot ja niiden sisältämä tieto jäävät hyödyntämättä laajemmin.

Yleisimpänä vertaisarvioinnin tapana on pidetty puoliavointa arviointia (single-blind review), jossa tekijän identiteetti paljastetaan arvioijalle, mutta arvioijan identiteetti säilyy anonyyminä. Tuplasokkoarvioinnissa (double-blind review) sekä kirjoittajan että arvioijan identiteetti salataan. Se on yleisempi humanistisilla aloilla ja yhteiskuntatieteissä kuin luonnontieteiden, teknologian, insinööritieteiden ja lääketieteen aloilla.

Läpinäkymättömyyden takia arvioprosessissa on kohtia, joissa erilaisia väärinymmärryksiä mutta myös väärinkäytöksiä voi päästä tapahtumaan.

Prosessi on monin tavoin läpinäkymätön kaikkien siinä toimijoiden kannalta. Läpinäkymättömyyden takia arvioprosessissa on kohtia, joissa erilaisia väärinymmärryksiä mutta myös väärinkäytöksiä voi päästä tapahtumaan. Tällaisia ovat muun muassa vertaisarvioijan mahdollisuus hyötyä toisen vielä julkaisemattomasta työstä tai tahallisesti hidastaa sitä. 

Avoimen vertaisarvioinnin tavoitteena on tieteellisen kommunikaation ja julkaisukäytäntöjen parantaminen. Tähtäimessä on selkeyttää vertaisarvioijien, kirjoittajien, tiedelehtien ja lukijoiden eli jokaisen julkaisuprosessiin osallistuvan toimijan roolia sekä myös kyseenalaistaa ajatus suljetun vertaisarvioinnin paremmuudesta.

Avoimen vertaisarvioinnin avulla yritetään ratkaista julkaisuprosessin läpinäkyvyyteen liittyviä ongelmia sillä oletuksella, että läpinäkyvyys parantaa koko vertaisarvioprosessin laatua. Erilaisten vinoutumien väheneminen ja toimijoiden lisääntynyt vastuullisuus voivat johtaa prosessiin, jossa arviot ovat entistä rakentavampia ja jossa myös arvioijat saavat tunnustusta työstään.

Avoimuuden asteet

Avoin vertaisarviointi sisältää yleisimmin joko yhden tai useamman seuraavista käytännöistä:

Avoin vertaisarviointi voidaan ymmärtää monia, osin päällekkäisiäkin vertaisarviomalleja mahdollistavana sateenvarjokäsitteenä. Vaikka avoimen vertaisarvioinnin muotoja ja määritelmiä on paljon, kaikista niistä löytyy jokin edellä esitetyistä näkökulmista eri painotuksilla. Tällainen avoimen vertaisarvioinnin määritelmä sallii asteittaisen siirtymisen kohti avoimuutta, jolloin avoimuuteen rohkaistaan, mutta täyttä avoimuutta ei edellytetä.

Erilaisia lähtökohtia avoimuuteen

Avoimen vertaisarvioinnin käsite itsessään on monitahoinen ja vaatii tarkennusta. Avointa vertaisarviointia ei voi lähestyä yhtenä staattisena, historiattomana kokonaisuutena. Vertaisarviointikäytäntöjä pohdittaessa on tärkeää pitää mielessä maantieteelliset ja tieteenalakohtaiset erot sekä erilaiset tieteenalakulttuurit.

Tieteenalaerojen vuoksi tutkimustuloksia erilaisten vertaisarviomallien toimivuudesta ei voida yleistää. Esimerkiksi luonnontieteissä ei yleensä pyritä salaamaan kirjoittajan identiteettiä, joten jo arviointiprosessin lähtökohdat ovat hyvin erilaiset kuin vaikkapa humanistisen tutkimuksen kentällä. 

Avointa vertaisarviointia ei voi lähestyä yhtenä staattisena, historiattomana kokonaisuutena.

Avoin julkaiseminen ja avoin vertaisarviointi eivät käytäntöinä ole toisistaan riippuvaisia, vaikka toistaiseksi suurin osa avointa vertaisarviointia jossain määrin harjoittavista lehdistä myös julkaisee avoimesti.

Vertaisarviointiin liittyvien käytäntöjen kehittäminen on yksi keino edesauttaa tieteellistä keskustelua. Vielä ei ole juurikaan tutkittu, millaisia asetelmia nykyinen tieteen avoimuus luo vertaisarviokäytäntöjen kannalta.

Osana vertaisarviointia koskevaa kansallista selvitystä lähetimme kesällä 2018 kotimaisten tiedelehtien parissa toimiville verkkokyselyn ja haastattelimme kotimaisia, vertaisarviointia käyttäviä kirjakustantajia. Tavoitteena oli selvittää, miten nykyisen vertaisarviointiprosessin koetaan toimivan sekä miten vastaajat näkevät avoimuuden lisäämisen vaikuttavuuden tutkimuksen ja julkaisemisen kentällä. Selvitystyön perusteella ei voida tehdä pitkälle vietyjä johtopäätöksiä, mutta se toimii pohjana tuleville tutkimuksille.

FT Riitta Jytilä on kirjallisuudentutkija Turun yliopistossa. KTT Mikael Laakso on tietojärjestelmätieteiden yliopistonlehtori Hanken Svenska Handelshögskolanissa.

_{Lisätietoja:}

_{Jytilä, R. ja Laakso, M. (2019) ). Selvitys avoimesta vertaisarvioinnista kotimaisen tiedejulkaisemisen kentällä. Tieteellisten seurain valtuuskunnan verkkojulkaisuja 5. https://doi.org/10.23847/978-952-599516-9
Ross-Hellauer, T. (2017). What is open peer review? A systematic review. F1000Research, 6, 588–30. http://doi.org/10.12688/f1000research.11369.1
Tennant, J. P., Dugan, J. M., Graziotin, D., Jacques, D. C., Waldner, F., Mietchen, D., ym. (2017). A multi-disciplinary perspective on emergent and future innovations in peer review. F1000Research, 6, 1151–53. http://doi.org/10.12688/f1000research.12037.1}