Skip to main content

Tutkijan palvelut: Tutkimuksen arviointi

Viittausanalyysit

Viittausanalyysin avulla voidaan selvittää tutkimuksen vaikuttavuutta ja näkyvyyttä (impact and visibility). Viittauksia voidaan pitää eräänlaisena vertaisarviointina. Viittauksien käyttö vaikuttavuuden mittarina tarkoittaa sitä, että arvioidaan kuinka paljon muut tutkijat käyttävät selvityksen kohteena olevassa yksikössä tuotettuja tutkimustuloksia lähteenä omissa julkaisuissaan.

Viittausanalyysin avulla voidaan verrata yksikön tutkimuksen tasoa kansainväliseen tasoon kullakin tieteenalalla.

Samoin voidaan selvittää

  • yhteistyötä ja verkostoitumista: Ketkä tutkijat/organisaatiot/maat julkaisevat yhdessä?
  • tieteellisen julkaisemisen käytäntöjä: Ketkä tutkijat ja mitkä organisaatiot viittaavat kehenkin ja mihin ja milloin?

Tutkimuksen tuottavuus ja laatu

Julkaisutoiminnan analyysimenetelmillä voidaan selvittää tutkimuksen tuottavuutta (julkaisujen lukumäärä) sekä yhdistettynä esim. julkaisufoorumiluokitukseen myös laatua. Julkaisumääriä voidaan tarkastella tyypeittäin, kansainvälisyys/kotimaisuus, panos-tuotos-tarkastelu jne.

TTY:llä julkaisutoiminnan analyysit ovat perustuneet pääosin julkaisutoiminnan tuottavuuden määrittämiseen eli laitos- ja tutkijakohtaiset tilastot ovat perustuneet julkaisumääriin. TTY:n kirjasto tuottaa julkaisutoiminnan tilastot eri tarpeisiin. Julkaisufoorumin valmistuminen vuonna 2012 on tuonut mahdollisuuden liittää määrällisiin lukuihin laatu-ulottuvuuden. Näillä menetelmillä ei voida verrata TTY:n tutkimuksen tasoa suhteessa kansainväliseen tasoon kullakin tieteenalalla.

Julkaisufoorumi

Laatuluokitus tieteellisille lehdille, konferenssi- ja kirjasarjoille sekä kirjakustantajille. Julkaisufoorumin tavoitteena on kattaa kaikkien tutkimusalojen keskeisimmät tieteelliset julkaisukanavat ja osoittaa niistä korkeatasoisimmat. Julkaisufoorumiluokitus soveltuu tutkimuksen arvioinnin työvälineeksi suurten julkaisumäärien tasolla, ei tieteenalojen eikä yksittäisen tutkijoiden tai tutkimusryhmien väliseen vertailuun.

Bibliometriset visualisointityökalut

Julkaisukäytäntöjä, yhteiskirjoittajia ja viittaussuhteita sekä alan toimijoita, tutkimusaloja, organisaatioita ja verkostoja voidaan esitää myös erilaisten kaavioiden ja visualisointien kautta. Viittaustietokannat Web of Science (WoS) ja Scopus tarjoavat hakutulosten analysointi- ja visualisointityökaluja. Myös muissa tietokannoissa on tarjolla näitä työkaluja.

Verkossa on myös vapaasti saatavilla olevia työkaluja, joiden avulla kirjallisuusviitteitä voi visualisoida. Näitä työkaluja on esim. VOSviewer, Network Workbench, Gephi ja Pajek.

Analyysityökaluna voi käyttää esim. WoS:n InCitesia.

Mihin bibliometriikkaa käytetään?

Miten tutkimustasi arvioidaan?

Julkaisut ovat tieteellisen kommunikaation keskeinen väline ja tärkeitä tutkimuksen tuotoksia. Bibliometriikka tarkoittaa julkaisutoiminnan tilastollista analyysiä. Bibliometristä analyysiä voidaan käyttää yhtenä menetelmänä määritettäessä yksikön tutkimuksen tuottavuutta ja laatua sekä vaikuttavuutta ja näkyvyyttä. Viittausanalyysin avulla voidaan verrata yksikön tutkimusta suhteessa kansainväliseen tasoon kullakin tieteenalalla.

Lähde: Priem, J.; Taraborelli, D.; Groth, P.; Neylon, C. Altmetrics: a manifesto. 8.8.2013.  http://altmetrics.org/manifesto/

Painettujen julkaisujen aikana artikkelit saivat näkyvyyttä ennen kaikkea lehden kautta, jossa ne oli julkaistu. Verkkoaikana tutkimuksen tuotokset leviävät erilaisten verkkopalvelujen ja sosiaalisen median välineiden kautta, ja artikkeleita arvioidaan itsenäisesti omina tuotoksinaan. Eräät kustantajat (mm. PLOS One, Nature, Wiley-Blackwell, Biomed Central) julkaisevat verkkosivuillaan artikkelien yhteydessä tietoa latausten määrästä, viittauksista, kuinka monta kertaa artikkeli on tallennettu sekä sosiaalisen median keskusteluista (viewed, cited, saved, discussed). Tätä kutsutaan artikkelitasoiseksi metriikaksi eli altmetriikaksi.

Bibliometriikkaa voidaan hyödyntää tutkimuksen arvioinnissa julkaisujen, tutkijan ja organisaation tasolla. Altmetriikan avulla tuodaan esiin tutkijan verkkonäkyvyyttä.

Altmetriikka

Julkaisutoiminnan näkyvyyttä ja merkittävyyttä verkkopalveluissa ja sosiaalisessa mediassa on alettu mitata uudella metriikalla, jota kutsutaan altmetriikaksi (altmetrics). Se keskittyy artikkelitasoiseen arviointiin ja kuvaa sitä, mikä artikkelin anti on ollut sen julkaisemisen jälkeen. Markkinoilla on muutamia palveluntuottajia, jotka tarjoavat artikkelitasoisia analyysipalveluja (mm. Impactstory, Altmetric, PlumX).

Bibliometriikka

Impact Factor

CC BY John R. McKiernan, Why open research?

Bibliometriset indikaattorit

Julkaisujen ja viittausten määrän lisäksi on runsaasti muitakin bibliometrisiä indikaattoreita, joita voidaan tarkastella julkaisutoiminnan arvioimiseksi.

H-indeksi

Voidaan määrittää suoraan julkaisuluettelon perusteella, kun tiedetään artikkelien viittausmäärät. Saatavilla kansainvälisissä viittaustietokannoissa (WoS ja Scopus).

Tutkijan H-indeksi on luku H, jos tutkijalla on H kpl artikkeleita, joihin on viitattu vähintään H kertaa.

H-indeksin rinnalla on tarpeen ilmoittaa myös viittausten määrä, esim. kokonaismäärä tai viittaukset/julkaisu.

Hirsch, J. E. (2005). "An index to quantify an individual's scientific research output". PNAS 102 (46): 16569–16572. doi:10.1073/pnas.0507655102.

 

Ohjeet H-indeksin määrittämiseksi WoS ja Scopus -tietokannoissa.

Impact Factor (IF)

Vaikuttavuuskerrointa eli Impact Factoria käytetään julkaisujen suosion ja arvostuksen arviointiin. Se kertoo julkaisun artikkelien keskimääräisen viittausmäärän. IF:t ovat WoS -tietokantaan liittyviä lukuja ja ne lasketaan jakamalla tiettynä ajanjaksona lehden artikkelien saamat viittaukset samaan aikaan lehdessä ilmestyneiden artikkelien lukumäärällä. Journal Citation Report -lehtiluettelossa on 2 ja 5 vuoden impaktifaktorit.

Source Normalised Impact per Paper (SNIP)

Indikaattorin laskennassa otetaan huomioon alkuperäisartikkelit, reviewartikkelit ja konferenssiartikkelit, ei kaikkia julkaisutyyppejä kuten JIF:n laskennassa. Indikaattorin laskennassa on huomioitu eri tieteenalojen erilaiset viittauskäytännöt ja indikaattoria voidaan käyttää vertailussa eri alojen välillä toisin kuin JIF-lukuja. Sopivan julkaisukanavan valintaan voit JIF:n lisäksi käyttää SJA-lehtiluetteloa sekä Leidenin yliopiston CWTS:n lehti-indikaattoreita, jotka molemmat pohjautuvat Scopuksen tietoihin.