”Vertaisarviointi on rikki?” Ennen ja nyt -lehden kokemuksia avoimesta vertaisarvioinnista

Yksi polttavimmista tiedejulkaisemisen keskustelunaiheista on viime vuosina ollut vertaisarviointi. Kun tieteellisen julkaisemisen kentällä on monilta osin painotettu avoimuutta ja läpinäkyvyyttä, on vertaisarviointi pitkään ollut läpinäkymättömyyden viimeisiä linnakkeita. Sen paremmin arvioijat kuin arvioitavatkaan eivät ole olleet selvillä toistensa identiteeteistä. Arviointilausunto muutosehdotuksineen on jäänyt pelkästään kirjoittajan ja toimituskunnan tietoisuuteen, mikä puolestaan on estänyt lausunnon sisältämän tiedon laajemman hyödyntämisen. Myös arvioitsijan monesti hyvinkin intensiivinen ja huolellinen työ on siksi jäänyt näkymättömiin.

Muutoksen tarpeesta kokeiluun

Vertaisarviointiin siis kohdistuu muutospaineita. Mikael Laakso ja Riitta Jytilä kirjoittivat keväällä 2019 Vastuullinen tiede -sivustolla vertaisarvioinnin avoimuuden kehittämisestä ja monista eri avoimuuden asteista, joita vertaisarvioinnissa voidaan soveltaa.

Tässä kirjoituksessa tarkastelen avointa vertaisarviointia käytännön kokemusten näkökulmasta. Pohjana toimii historian alan Ennen ja nyt – historian tietosanomat -verkkojournaalin vuosina 2018–2020 Suomen Tiedekustantajien liiton rahoituksella toteutettu kokeilu, jossa testattiin avointa ja joukkoistettua vertaisarviointia. 

Ennen ja nyt -lehdessä kokeiltiin jo vuosina 2016 ja 2017 muutamassa numerossa avoimen vertaisarvioinnin mallia, jossa sekä kirjoittaja että vertaisarvioija saivat tietää toistensa identiteetit ja vertaisarvioijien nimet myös julkaistiin artikkelin alussa. Tämä avoimen vertaisarvioinnin kokeilu sai positiivista palautetta sekä kirjoittajilta että arvioijilta.

Kokeilussa haluttiin testata mahdollisimman pitkälle vietyä avointa prosessia, jossa myös eri työvaiheet pyrittiin tekemään näkyviksi.

Positiivisen palautteen rohkaisemana käynnistimme vuonna 2018 Suomen Tiedekustantajien liiton rahoittaman hankkeen avoimen ja joukkoistetun vertaisarvioinnin testaamiseksi. Kokeilussa haluttiin testata mahdollisimman pitkälle vietyä avointa prosessia, jossa myös eri työvaiheet pyrittiin tekemään näkyviksi. Sen lisäksi, että arvioijan ja tekijän henkilöllisyys ovat julkisia, myös vertaisarviointilausunto ja artikkelin korjaamaton versio julkaistaan rinnakkain artikkelin lopullisen, korjatun version kanssa. Näiden ratkaisujen tavoitteena on paitsi rakenteellisten ongelmien ja väärinkäytösmahdollisuuksien korjaaminen, myös arvioijan työn tekeminen näkyvämmäksi.

Joukkoistaminen kokeilun keskiössä

Lehden uudenlaisen vertaisarviointimallin kokeiluun sisältyi avoimuuden lisäksi olennaisena osana myös joukkoistaminen. Joukkoistamisella tarkoitetaan tässä yhteydessä sitä, että arvioitavat artikkelit julkaistiin Eduuni-wikialustalla ja vertaisarviointiin saattoi osallistua kuka tahansa. Pilottihankkeessa artikkeleille tosin vielä nimettiin kaksi vastuullista pääarvioijaa, mutta jos joukkoistettu vertaisarviointimalli vakiintuisi laajempaan käyttöön, sitäkään ei ehkä tarvittaisi. Silloin artikkelit voitaisiin ladata esimerkiksi kansallisella tasolla rakennettuun tietokantaan, jonne ilmoittautunut arvioitsijajoukko saisi asiasanojen pohjalta ilmoituksen kiinnostavasta artikkelista ja voisi sitten kommentoida sitä.

Arvioitavat artikkelit julkaistiin Eduuni-wikialustalla ja vertaisarviointiin saattoi osallistua kuka tahansa.

Joukkoistetun arvioinnin toimintamalli muistuttaa etenkin luonnontieteissä varsin yleisiä yhteisöllisen vertaisarvioinnin periaatteita, mutta erotuksena on se, että Ennen ja nytin kokeilussa joukkoistettu vertaisarviointi tapahtuu ennen julkaisua, kun taas yhteisöllinen vertaisarviointi tapahtuu usein julkaisun jälkeen. Ennen ja nytin kokeilussa joukkoistetun vertaisarvioinnin tavoitteena oli paitsi vertaisarvioijien työtaakan vähentäminen jakamalla arviointivastuu useammalle henkilölle, myös arvioijien tietopohjan laajentaminen. Kun arviointiin osallistuu monta henkilöä, kirjoittajan saamien kommenttien tukena on parhaimmillaan huomattavan laaja tietopohja verrattuna tilanteeseen, jossa arvioijina on kaksi toimituksen valitsemaa henkilöä.

Toisaalta toimittajan vastuu kasvaa tässä: hänen roolinsa muuttuu enemmänkin moderaattorin rooliksi, ja hänen tehtäväkseen jää keskustelun asiallisuudesta huolehtiminen.

Palaute kannustavaa, käytännöt muuttuvat hitaasti

Kokeilun yhteydessä niin kirjoittajilta kuin arvioijiltakin kerättiin palautetta kokeilusta webropol-kyselyllä. Kokeilu keräsi paljon positiivista palautetta: kirjoittajan ja vertaisarvioijan mahdollisuutta dialogiin pidettiin kirjoittajan näkökulmasta erinomaisena asiana, ja työn paremman näkyvyyden taas katsottiin motivoivan vertaisarvioijia perusteellisempaan työhön.

Palautteissa kokeilun nähtiin myös ratkaisevan pienen kielialueen ongelmia:

”Kokeilu ja sen aikana käydyt keskustelut ovat kaksitahoisia, joten en ole vahvasti puolesta enkä vastaan. Pidän avoimuutta pienellä kielialueella (kuten suomi) periaatteessa hyödyllisenä, koska tosiasiallisesti tietyn aihepiirin tutkijajoukko on joka tapauksessa niin pieni, että sen keskuudessa ’double-blind’ menetelmää ei voi aina pitää edes teoreettisesti uskottavana.”

Yleisesti tiedostettiin myös, että kyseessä oli alkuvaiheen kokeilu, ja on vielä moniakin kehityskohteita. Kaipaamaan jäätiin muun muassa ratkaisua tutkijayhteisön tehokkaampaan sitouttamiseen. Kokeiluun valittujen pilottiarvioitsijoiden lisäksi wikialustalle laitettuja artikkeleita ei lopulta kommentoinut kukaan muu.

Kyse onkin kokeiluun osallistuneiden näkökulmasta pitkälti keinoista sitouttaa akateeminen yhteisö uuteen toimintamalliin: käytännöt muuttuvat hitaasti. Lisäksi monet vertaisarvioijat näkevät uuden vertaisarviointimallin omalta kannaltaan lisärasitetta tuovana: lausunnon laatimisen lisäksi nyt on varauduttava myös keskustelemaan siitä, mikä eittämättä ottaa oman aikansa.

Olisi toivottavaa, että testausta voitaisiin jatkaa yhdessä muiden tiedelehtien kanssa ja sitä kautta kehittää paras mahdollinen toimintamalli.

Miten voitaisiin varmistaa lausujien pätevyys, mikäli toimintamalli leviäisi laajempaan käyttöön? Entä jos referee esittää hyvän idean, jonka kirjoittaja ottaa mukaan uuteen versioonsa – kenen ”henkistä omaisuutta” ja ansio hyvä ajatus sen jälkeen on? Kasvattaako toimintamalli, jossa artikkelit asetetaan julki aikaisessa vaiheessa, ideavarkauden riskiä?

On selvää, ettei yhden lehden yksi numero tarjoa riittävän kattavaa testialustaa, jonka avulla saataisiin vastaus aivan kaikkiin kysymyksiin. Olisikin toivottavaa, että testausta voitaisiin jatkaa yhdessä muiden tiedelehtien kanssa ja sitä kautta kehittää paras mahdollinen toimintamalli.

VTT Olli Kleemola on poliittisen historian tutkija Turun yliopistossa ja Ennen ja nyt -verkkojournaalin toimituskunnan jäsen.

_{Lisätietoja:}

_{Ennen ja nyt -lehden toukokuussa 2020 julkaistava avoimen ja joukkoistetun vertaisarvioinnin teemanumero (vol 20 nro 2 (2020)): journal.fi/ennenjanyt
Laakso, Mikael & Jytilä, Riitta: Avoin tiede muuttaa vertaisarvioinnin käytäntöjä. Vastuullinen tiede: vastuullinentiede.fi/julkaiseminen/avoin-tiede-muuttaa-vertaisarvioinnin-kaytantoja}