Kollegial bedömning är sönder? Erfarenheter av öppen kollegial bedömning vid tidskriften Ennen ja nyt

Under de senaste åren har ett av de mest brännande diskussionsämnena inom vetenskapspublicering varit kollegial bedömning. Medan man inom vetenskapspublicering i många styckenomgångar har betonat öppenhet och transparens, har den kollegiala bedömningen länge varit ogenomskådlighetens sista högborg. Varken de som bedömer eller de som bedömasbedöms har känt till varandras identitet. Bedömningsutlåtandet med ändringsförslag har endast kommit till författarens och redaktionens kännedom, vilket har förhindrat ett mer omfattande utnyttjande av den information som ingår i utlåtandet. Även bedömarnas ofta mycket intensiva och omsorgsfulla arbete har därför blivit osynligt.

Från förändringsbehov till ett försök

Kollegial bedömning är alltså utsatt för ett förändringstryck. På våren 2019 skrev Mikael Laakso och Riitta Jytilä på webbplatsen Ansvarsfull vetenskap om utvecklandet av öppenhet inom denkollegiala bedömningen och om de många olika nivåerna av öppenhet som kan tillämpas vid kollegial bedömning.

I denna artikel behandlar jag öppen kollegial bedömning ur praktiska erfarenheters perspektiv. Artikeln grundar sig på ett försök som genomfördes under 2018–2020 av Ennen ja nyt – historian tietosanomat, en webbpublikation inom historieforskning. Försöket som testade öppen kollegial bedömning genom svärmarbete finansierades av Förbundet för vetenskapspublicering i Finland. 

I tidskriften Ennen ja nyt testades redan 2016 och 2017 i några nummer en modell av öppen kollegial bedömning, där både författaren och bedömaren fick veta varandras identitet. Namnen på bedömarna publicerades också i början av artikeln. Detta försök inom öppen kollegial bedömning fick positiv respons av både författare och bedömare.

Avsikten med försöket var att testa en process som är så öppen som möjligt och där man försöker göra också de olika arbetsskedena synliga.

Med uppmuntran av positiv respons inledde vi 2018 ett projekt för att testa öppen kollegial bedömning genom svärmarbete. Projektet finansierades av Förbundet för vetenskapspublicering i Finland. Avsikten med försöket var att testa en process som är så öppen som möjligt och där man försöker göra också de olika arbetsskedena synliga. Förutom att bedömarens och författarens identitet är offentliga, publiceras också utlåtandet om kollegial bedömning och den okorrigerade versionen av artikeln parallellt med artikelns slutliga, korrigerade version. Förutom att åtgärda strukturella problem och möjligheter till missbruk, är syftet med dessa lösningar att göra bedömarnas arbete synligare.

Svärmarbete som kärnan i försöket

I tidskriftens försök med den nya modellen för kollegial bedömning ingick förutom öppenhet också svärmarbete som en väsentlig del. Med svärmarbete avses i detta sammanhang att de artiklar som skulle bedömas publicerades på wiki-plattformen Eduuni och att vem som helst kunde delta i kollegiala bedömningen. I pilotprojektet utsågs dock två ansvariga huvudbedömare för artiklarna, men om modellen för kollegial bedömning genom svärmarbete etablerades, skulle de eventuellt inte heller behövas. Då kunde artiklarna laddas upp till exempel i en databas som byggts upp nationellt, där den bedömargrupp som anmält sig skulle få ett meddelande om en intressant artikel på basis av ämnesord och därefter kunde kommentera den.

Konceptet för bedömning genom svärmarbete påminner särskilt om de allmänna principer för kollektiv kollegial bedömning som är vanliga inom naturvetenskaperna. Skillnaden är att kollegial bedömning genom svärmarbete i Ennen och nyts försök sker innan publicering, medan kollektiv kollegial bedömning ofta sker efter publicering. I försöket var syftet med den kollegiala bedömningen genom svärmarbete inte bara att minska arbetsbördan för de kollegiala bedömarna genom att fördela bedömningsansvaret på flera personer, utan också att utvidga bedömarnas kunskapsbas. När flera personer deltar i bedömningen stöds de kommentarer som författaren får i bästa fall av en mycket mer omfattande kunskapsbas än i en situation där bedömarna är två personer som redaktionen valt.

Redaktörens ansvar ökar dock här: hens roll blir snarare att vara moderator och hens uppgift blir att se till att diskussionen förblir saklig.

Respons är uppmuntrande, men praxis förändras långsamt

I samband med försöket samlades respons från såväl författarna som bedömarna genom en webropol-enkät. Försöket samlade in mycket positiv respons: författarens och den kollegiala bedömarens möjlighet till dialog ansågs vara en utmärkt sak ur författarens synvinkel, och arbetets bättre synlighet ansågs motivera de kollegiala bedömarna till mer ingående arbete.

I responsen ansågs försöket också lösa problem för ett litet språkområde:

”Eftersom försöket och de diskussioner som förts under det är tudelade, är jag inte starkt för eller emot. Jag anser att öppenhet i ett litet språkområde (som till exempel finska) i princip är till nytta, eftersom forskargruppen inom ett visst område i vilket fall som helst är så liten att ”double blind”-metoden inte alltid kan anses vara teoretiskt trovärdig.”

Man var också väl medveten om att det var fråga om ett försök i initialskedet och att det fortfarande finns mycket att utveckla. Man saknade bland annat en lösning på frågan om hur forskarsamfundet kunde engageras mer effektivt. Utöver de pilotbedömare som valts ut till försöket kommenterade ingen annan till slut de artiklar som lagts ut på wiki-plattformen.

Det är önskvärt att testerna kunde fortsätta tillsammans med andra vetenskapliga tidskrifter för att utveckla den bästa möjliga verksamhetsmodellen.

Ur deltagarnas synvinkel är det i stor utsträckning fråga om metoder för att engagera den akademiska världen i den nya verksamhetsmodellen: praxisen förändras långsamt. Dessutom anser många kollegiala bedömare att den nya modellen för bedömningen blir en extra börda för dem: utöver att utarbeta ett utlåtande måste man också vara inställd på att diskutera, vilket säkert tar sin tid.

Hur kan man säkerställa att bedömarna är kompetenta, om verksamhetsmodellen blir vitt utbredd? Om bedömaren presenterar en bra idé som författaren tar med i sin nya version – vems ”immateriella egendom” och förtjänst är den goda idén efteråt? Ökar risken för idéstöld i verksamhetsmodellen, där artiklarna publiceras i ett tidigt skede?

Det är uppenbart att ett nummer i en tidskrift inte erbjuder en tillräckligt omfattande testplattform för att besvara alla frågor.  Därför är det önskvärt att testerna kunde fortsätta tillsammans med andra vetenskapliga tidskrifter för att utveckla den bästa möjliga verksamhetsmodellen.

PD Olli Kleemola är forskare inom politisk historia vid Åbo universitet och medlem i webbtidskriften Ennen ja nyts redaktion.

_{Ytterligare information:}

_{Temanummer för öppen kollegial bedömning genom svärmarbete i tidskriften Ennen ja nyt (på finska): https://journal.fi/ennenjanyt/issue/view/6309}

_{Laakso, Mikael & Jytilä, Riitta: Avoin tiede muuttaa vertaisarvioinnin käytäntöjä. Ansvarsfull forskning (på finska): https://vastuullinentiede.fi/fi/julkaiseminen/avoin-tiede-muuttaa-vertaisarvioinnin-kaytantoja}