CoARA

Tutkimuksen arviointia uudistava CoARA-yhteenliittymä

Tieteellisten seurain valtuuskunta allekirjoitti loppuvuodesta 2022 tutkimuksenarvioinnin uudistamista edistävän sopimuksen ja liittyi kansainvälisen CoARA-koalition  (Coalition for Advancing Research Assessment, englanniksi) jäseneksi. 

Eurooppalaisia tutkimusrahoittajia edustava Science Europe julkaisema Agreement on Reforming Research Assessment (englanniksi) -sopimus määrittää uusia tutkimuksenarvioinnin käytäntöjä, ja se on syntynyt Euroopan komission käynnistämän kansainvälisen yhteistyön tuloksena. Sopimuksen toimeenpanoa edistää allekirjoittajien muodostama maailmanlaajuinen yhteenliittymä CoARA. 

Sopimuksen keskiössä ovat tutkimustyön ja sen arvioinnin moninaisuutta, avoimuutta ja syrjimättömyyttä edistävät toimet, jotka vahvistavat tieteen ja tutkimuksen laatua ja vaikuttavuutta. Sopimus sisältää tutkimuksenarvioinnin uudistamista koskevat periaatteet, sitoumukset ja aikataulun niiden toimeenpanolle.

Sopimuksen keskeisimmän sisällön muodostavat neljä keskeistä sitoumusta:

1. Tunnistamme tutkimuspanosten ja -urien monimuotoisuuden  tutkimustoiminnnan tarpeiden ja luonteen mukaisesti.
2. Perustamme tutkimuksen arvioinnin ensisijaisesti laadulliseen arviointiin, jossa vertaisarvioinnilla on keskeinen sija ja jota määrällisten indikaattoreiden vastuullinen käyttö tukee.
3. Luovumme tutkimuksen arvioinnissa lehti- ja julkaisupohjaisten mittareiden epätarkoituksenmukaisesta käytöstä. Tämä koskee erityisesti Journal Impact Factorin (JIF) ja h-indeksin epätarkoituksenmukaista käyttöä.
4. Vältämme käyttämästä tutkimusorganisaatioiden kansainvälisiä vertailuja tutkimuksen arvioinnissa.

Lisäksi sopimuksessa on kuusi muuta sitoumusta, joilla tuetaan edellä olevien tavoitteiden toteutumista. Nämä sitoumukset liittyvät seuraaviin teemoihin: 

• tutkimuksenarvioinnin uudistusprosessin riittävä resursointi
• tutkimuksenarvioinnin kriteerien, prosessien ja työkalujen kehittäminen sekä niistä viestiminen ja ohjeistuksen antaminen
• vastavuoroisen oppimisen mahdollistaminen 
• tutkimuksenarvioinnin uudistusten edistymisestä viestiminen 
• sen takaaminen, että uudet arviointikäytännöt ovat perusteltuja

Toukokuuhun 2024 mennessä Agreement on Reforming Research Assessment -sopimuksen on allekirjoittanut TSV:n lisäksi 37 suomalaista organisaatiota. Allekirjoittajien joukossa on lähes kaikki yliopistot, suuri osa ammattikorkeakouluista ja muun muassa Suomen Akatemia. 

CoARA edellyttää jäsenorganisaatioidensa tekevän toimintasuunnitelman (Action Plan) sitoumusten toteuttamiseksi. Organisaatioiden valmiit toimintasuunnitelmat julkaistaan ja niitä voi tarkastella CoARAn Zenodossa (englanniksi).

CoARAn Suomen kansallinen osasto

CoARAssa toimivien maakohtaisten kansallisten osastojen (englanniksi) tavoitteena on tukea CoARAn jäsenorganisaatioita sopimuksen sitoumusten täytäntöönpanossa. Kansallisen osaston toiminnassa pystytään ottamaan huomioon kyseisen maan ja eri organisaatioiden erityispiirteet. 

Suomen kansallinen osasto on aloittanut toimintansa helmikuussa 2024, ja siinä on mukana yli 40 jäsenorganisaatiota. Toimintaan ovat tervetulleita CoARAn suomalaiset uudet jäsenet sekä CoARAn ulkopuoliset jäsenet, jotka eivät ole allekirjoittaneet sopimusta.

Suomen kansallinen osasto kokoontuu verkossa kerran kuukaudessa keskustelemaan ajankohtaisista CoARAan ja vastuulliseen tutkimuksen arviointiin liittyvistä kysymyksistä sekä jakamaan toisilleen tietoa ja parhaita käytäntöjä. Tieteellisten seurain valtuuskunta koordinoi Suomen kansallisen osaston toimintaa. 

Osasto hyödyntää ja vahvistaa seuraavien olemassa olevien verkostojen yhteistyötä:

• Vastuullisen tutkijanarvioinnin ohjausryhmä ja työryhmä
• Avoimen tieteen ja tutkimuksen (AVOTT) Vastuullinen arviointi ja kannustimet -työryhmä
• Finn-ARMAn (Finnish Association of Research Managers and Administrators) tutkimuksenarviointi -työryhmä
• Finn-ARMAn julkaisumetriikkaverkosto

Suomen osaston tavoitteet

Suomen kansallisen osaston tehtävänä on tukea koko suomalaista tutkimusyhteisöä matkalla kohti laadullista arviointia painottavaa arviointikulttuuria, joka tunnistaa akateemisen työn täyden monimuotoisuuden ja vaikuttavuuden.

Kansallisen osaston päätavoitteet ovat:

• lisätä tietoisuutta ja keskustelua arviointimenetelmien tärkeydestä, jotka tukevat korkealaatuisen tutkimuksen monimuotoisia piirteitä, osallistavuutta ja avointa tutkimuskulttuuria
• saada CoARA-sitoumusten allekirjoittajiksi mukaan erilaisia sidosryhmiä, kuten ministeriöt, yliopistot, ammattikorkeakoulut, tutkimuslaitokset ja muut tutkimusta suorittavat organisaatiot, julkiset rahoituslaitokset ja yksityiset säätiöt
• löytää vastuullisimmat arviointikäytännöt ja lieventää ristiriitoja eri arviointiprosessien välillä, koskien yksittäisiä tutkijoita ja tutkimusryhmiä, tutkimusorganisaatioita ja korkeakouluja, tutkimustuotoksia ja hankkeita
• helpottaa CoARA-sitoumusten ja niitä tukevien suositusten (esim. DORA, ERA Policy Action 3 & 4 ja Vastuullisen tutkijanarvioinnnin kansallinen suositus) tehokasta ja oikea-aikaista täytäntöönpanoa allekirjoittajaorganisaatioissa

CoARAn kansainväliset työryhmät

CoARAn työryhmät (englanniksi) ovat kansainvälisiä teemaperustaisia käytännön yhteisöjä, jotka tekevät yhteistyötä valittuihin vastuullisen arvioinnin teemoihin liittyen. Ne mahdollistavat vastavuoroisen oppimisen sekä tiedonvaihdon. Työryhmiä on 13 ja niiden kesto on kaksi vuotta. 

Työryhmiin voivat liittyä CoARAn jäsenorganisaatiot. Työryhmien toiminnasta kiinnostuneet voivat ottaa yhteyttä CoARAn verkkosivuilla mainittuihin ryhmien yhteyshenkilöihin.

CoARAn työryhmät:

1. Towards Open Infrastructures for Responsible Research Assessment
2. Multilingualism and language biases in research assessment
3. Experiments in Assessment – Idea generation, co-creation, and piloting
4. Reforming Academic Career Assessment
5. Responsible metrics and indicators
6. Improving practices in the assessment of research proposals
7. Supporting the alignment of research assessment systems with CoARA in biomedical disciplines through administrative reforms and governance
8. Towards Transformations: Transdisciplinarity, Applied/Practice-Based Research, and Impacts
9. Recognizing and Rewarding Peer Review
10. Early-and-mid-Career Researchers (EMCRs) – Assessment and Research Culture
11. TIER - Towards an Inclusive Evaluation of Research
12. Ethics and Research Integrity Policy in Responsible Research Assessment for Data and Artificial Intelligence (ERIP)
13. Evaluating Social Sciences and Humanities (SSH) research globally

Tieteellisten seurain valtuuskunta on mukana yhdeksässä työryhmässä ja koordinoi Multilingualism and language biases in research assessment -ryhmän työtä.

CoARA kansallisen osaston yhteystietorekisterin tietosuojaseloste.