Tutkimusanalytiikka

Tutkimusanalytiikkaa voidaan käyttää apuna tutkimuksen arvioinnissa olipa kyse sitten koko yliopiston tai pienemmän yksikön arvioinnista.

Tutkimusanalytiikan vastuullinen käyttö

Tutkimusanalytiikan käyttö erilaisissa arviointitilanteissa on yleistynyt 2000-luvulla. Tietokantojen yleistyminen ja kehittyminen on tehnyt tutkimusanalytiikasta saavutettavampaa, eikä sen tuottaminen enää ole niin työlästä, vaan valmista metriikkaa on tarjolla runsaasti. Tutkimusmetriikan käyttö on edullisempaa ja nopeampaa, kuin laadullisen arvioinnin suorittaminen.

Viimeisen vuosikymmenen aikana on julkaistu useita erilaisia julistuksia ja suosituksia, joilla pyritään edistämään tutkimusanalytiikan vastuullista käyttöä ja tutkijan sekä tutkimuksen vastuullista arviointia.

Jyväskylän yliopisto on useiden muiden suomalaisten yliopistojen ja tutkimusorganisaatioiden tavoin allekirjoittanut DORA-julistuksen ja sitoutunut noudattamaan kansallista vastuullisen tutkijanarvioinnin suositusta.

Suositukset ja julistukset

Keväällä 2020 julkaistiin kansallinen suositus tutkijan arviointiin (). Suositus on laadittu yksittäisen tutkijanarvioinnin näkökulmasta, mutta samat periaatteet soveltuvat hyvin myös suurempia joukkoja arvioitaessa. Suosituksen keskeisimmät periaatteet ovat:

��ä�辱��ä��ⱹ��
integriteetti
tasapuolisuus
��ä�ٱ𱹲��
monimuotoisuus

Kansallisessa suosituksessa annetaan ohjeistusta arviointiprosessin eri osa-alueisiin:

arviointiprosessin rakentamiseen
tutkimuksen arviointiin
tutkijan tehtävien monimuotoisuuden tunnistamiseen
tutkijan osallistamiseen arviointiprosessissa

Suositukseen sitoutuneiden tutkimusorganisaatioiden edellytetään tekevän omat ohjeet suosituksen toimeenpanemiseksi ja toteutumisen seuraamiseksi.

Osana kansallista suositusta on myös suositus vastuullisen metriikan käytöstä. Suosituksen mukaan julkaisumetriikkaa voidaan käyttää tukena arvioinneissa, mutta pääpaino tulisi olla laadullisella asiantuntija-arvioinnilla. Tärkeää on, että julkaisumetriikka perustuu arvioinnin kannalta relevanttiin dataan ja niin tulosten kuin analyysimenetelmien suhteen toimitaan avoimesti ja läpinäkyvästi.

DORA -julistus () antaa ohjeistuksia vastuullisen julkaisumetriikan käyttöön niin organisaatioille, rahoittajille, tutkijoille, kuin muillekin tutkimuskentän toimijoille. Keskeisin sanoma on, ettei lehtiperusteista julkaisumetriikkaa tulisi käyttää yksittäisen tutkimusartikkelin laadun arvioimiseen, kun arvioidaan yksittäisen tutkijan tieteellisiä ansioita.

Tutkimusorganisaatioille ohjeistuksessa mm. kehoitetaan määrittelemään rekrytointi-, urapolku- ja ylennyspäätösten kriteerit avoimesti ja selkeästi, sekä huomioimaan arvioinnissa kaikki tutkimustuotokset. Tutkijoita DORA kehoittaa viittaamaan aina alkuperäiskirjallisuuteen, jolloin kunnian työstä saa se kenelle se kuuluu. Lisäksi tutkijoiden tulisi osallistuessaan rahoituksesta, rekrytoinneista tai urapoluista päättäviin arviointeihin perustaa arviointinsa tieteellisiin sisältöihin eikä julkaisumetriikkaan.

Myös Jyväskylän yliopisto on allekirjoittanut DORA-julistuksen.

sisältää kymmenen periaatetta, joita tulisi noudattaa suoritettaessa tutkimuksen arviointia. Nämä periaatteet ovat:

Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia
Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon
Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta
Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja yksinkertaisia
Anna arvioitaville mahdollisuus tarkistaa data ja analyysit
Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä
Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadullisen tarkasteluun
Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta
Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset
Tutki ja päivitä mittareita säännöllisesti

ei ole vain suositus, vaan se on myös laaja selvitys metriikan käytöstä tutkimuksen arvioinnissa ja hallinnossa. Suosituksen pääperiaatteet ovat:

datan kattavuus
nöyryys (ymmärrettävä menetelmien rajoitukset)
��ä�辱��ä��ⱹ��
tieteenalojen erot huomioiva monimuotoisuus
reflektiivisyys

”Tutkijanarviointi muokkaa ja suuntaa tutkimusta. Koko tutkimusyhteisön tulee ottaa vastuu tutkijanarvioinnin periaatteista ja käytännöistä."

Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus, 2020.

Tiedonlähteitä ja työvälineitä

Kesällä 2022 on julkaistu Sen sisältö on kaikkien vapaassa käytössä, eikä sen käyttäjiltä odoteta pohjatietoja julkaisumetriikasta. Oppaassa on kerrottu laaja-alaisesti julkaisumetriikan perusteita, sen käyttö mahdollisuuksia, erilaisista työkaluista sekä metriikkaan liittyvistä haasteista. Opas painottaa vastuullista julkaisumetriikan käyttöä.

Valtaosa tietokannoista sisältää jonkinlaista julkaisumetriikkaa. Yleisimmin artikkeleiden tiedoista löydät tiedon kuinka monesti kyseiseen artikkeliin on viitattu ja kuinka usein se on ladattu. Monet viittaustietokannat tarjoavat valmista metriikkaa myös tutkijoista. Tyypillisesti tarjolla on tietoa tutkijakohtaisesti julkaisumääristä ja viittausmääristä. Usein tutkijoille on laskettu myös erilaisia tuottavuutta kuvaavia metriikoita, sekä artikkeleille erilaista vaikuttavuuden kuvaamiseen pyrkivää metriikkaa.

Analytics on kansainvälinen, laaja-alainen tietolähde. Dimensions Analyticsin perustoiminnallisuudet ovat käytettävissä myös Dimensionsin ilmaisversiossa, mutta kirjautumalla sisään (JYU:n verkkotunnuksilla) saat käyttöösi kaikki toiminnallisuudet. Dimensions Analytics sisältää lisäksi oikeuden käyttää Dimensionsin data koneellisesti, käyttäen -kieltä, joka on erittäin monipuolinen ja tehokas väline suurien ja automatisoitujen analyysien tekemiseen tieteellisistä julkaisuista. Julkaisutietojen lisäksi Dimensions sisältää myös tietoa dataseteistä, rahoituspäätöksistä, patenteista, kliinisistä kokeista ja politiikkadokumenteista.

on Elsevier-kustantamon tuottama viittaustietokanta. Vanhimmat tietueet ovat 1780-luvulta. Paras kattavuus on luonnontieteiden, tekniikan ja terveystieteiden aloilla. Scopuksen sisältämän analyysityökalun avulla voi tarkastella ja visualisoida haettua julkaisujoukkoa. Analyysityökalussa on mahdollista tarkastella julkaisumäärää mm. vuosittain, tekijöittäin, tieteenalojen mukaan ja rahoittajittain. Toimii yliopiston verkossa.

on Clarivate Analyticsin tuottama monitieteinen viittaustietokanta. Se rakentuu useasta erillisestä tietokannasta. Vanhimmat tietueet ovat 1800-luvulta. Paras kattavuus tietokannassa on luonnontieteiden, lääketieteen, tekniikan ja yhteiskuntatieteiden aloilla. Tietokanta sisältää analyysityökaluja, joiden avulla on mahdollista tarkastella haettua julkaisujoukkoa ja suorittaa visualisointeja. Viittausraportin avulla saat hakutuloksesta viittaustilastot, jotka sisältävät mm. julkaisujen keräämien viittausten kokonaismäärän ja viittausten keskiarvo yhtä julkaisua kohden. Toimii yliopiston verkossa.

Yksi tietolähde yhteiskunnallisen vaikuttavuuden tarkasteluun on . Tähän tietokantaan on kerätty viittaustietoa yhteiskunnallisesta päätöksenteosta, virallisista suosituksista ja tutkimukseen perustuvasta vaikuttamistyöstä. Tietokantaan on koottu dataa yli 180 maasta monilla eri kielillä. Myös suomalaisista lähteistä kerätään tietoa ja uusien lähteiden ehdottaminen tietokantaan on mahdollista. Toimii yliopiston verkossa.

Työkaluja ja palveluita

Kysy lisää asiantuntijoiltamme

Avoimen tiedon keskuksen asiantuntijoilta voi kysyä apua tutkimusanalytiikan käytön erilaisiin tilanteisiin. Järjestämme myös koulutuksia, joissa käsitellään tutkimusanalytiikkaa, tutkimusmetriikan vastuullista käyttöä ja arviointia. Voit esimerkiksi tilata räätälöidyn koulutuksen omalle tutkijaporukalle, tutkimusmetriikkaa rekrytointiprosessien tueksi tai pyytää konsultaatioapua muihin metriikan hyödyntämisen tilanteisiin.