Informaatiotutkimuksen, tieteentutkimuksen ja tilastotieteen välimaastoissa on kehitetty näihin kysymyksiin vastaavia julkaisujen kvantitatiivisen tutkimuksen menetelmiä, tuttavallisemmin bibliometriikkaa. Parin viime vuosikymmenen aikana bibliometriikka on new public managementin hengessä saanut oikeutuksensa vastatessaan tutkimustuotosten vaikuttavuuden kysymyksiin selkeillä luvuilla. Mutta mitä näistä luvuista ja metodeista on hyvä tietää, ettei päädytä metriikasta numerologian puolelle? Millaisia mahdollisuuksia ammattikorkeakoulujen julkaisutoiminnan arvioinnille ylipäätään on?

Ei numeroissa sinänsä mitään vikaa ole

Bibliometriikka tuottaa kiinnostavaa kampetta tutkimuksen vaikuttavuuden arviointiin, toiminnanohjaukseen ja ylipäätään julkaisutoiminnan syvälliseen hahmottamiseen. Ja yleisen akateemisen nokankoputtelun hengenkin mukaista taitaa olla pienempien tai isompien numeroiden tuominen mukaan keskusteluihin tiputeltaviksi.

Johtuen jostain näistä tai kaikista mainituista, on bibliometriikan tekeminen houkuttelevaa, ja samalla kansainvälistä liiketoimintaa.

Ammattikorkeakoulut ovat näiltä markkinoilta kuitenkin hieman sivussa. Esimerkiksi hyvin yleisesti bibliometrisiin analyyseihin käytetty Web of Science -tietokanta (WoS) kattaa vain noin 20 prosenttia ammattikorkeakoulujen tieteellisestä (julkaisutiedonkeruun A ja C-luokat) julkaisutoiminnasta.

Ja kun vielä pitää mielessä, että tieteelliset julkaisut muodostavat noin kymmenyksen ammattikorkeakoulujen julkaisutoiminnasta, koskevat esimerkiksi WoSsilla tehdyt analyysit vain muutaman prosentin osaa julkaisutoiminnasta. Voi jo kysyä, kannattaako.

Googlen ilmaisella Google Scholarilla päästään esimerkiksi Haaga-Helian julkaisujen osalta aivan hyviin kattavuuksiin (50–100 prosenttia alasta ja vuodesta riippuen), mutta kuvioihin tulee Googlen tiedonhakujen tutut ongelmat. Lisäksi oma ongelmansa on eri tietokantoihin liitetyt kysymykset niiden sisällön muodostumisesta, väitteet laadusta ja niistä menetelmistä, miten laatua tuotetaan.

Katoaako lukujen magia, kun katsoo bibliometrisen konepellin alle?

Metriikan magia osittain toki katoaa, kun ruvetaan katsomaan sen toimintaperiaatteita tarkemmin, ja hyvä niin. En yhtään ihmettele, miksi tutkijoiden arvioinnin suosituksissa korostetaan viittausanalyysien käyttämistä vain yhtenä osana asiantuntija-arviointia ja miksi bibliometriikan parissa työskentelevät korostavat herkästi, että on ymmärrettävä metodiikat lukujen takaa.

Bibliometriikka tuottaa viittauksista periaatteessa vertailukelpoisia, mutta tarkemmin katsottuna ehkä oikeastaan ei ollenkaan, tai ehkä kuitenkin, mutta varauksellisesti, vertailukelpoisia lukuja.

Mutta jotain haltioitumista silti jää ilmaan roikkumaan tilastomatematiikan ja pagerank-algoritmien tuottamien indikaattorien ympäröimään eetteriin.

Eksaktit luvut jos jotkin ne vasta tuntuvat vaativan tulkintaa.

Haaga-Helian viittauslukuja

Tein muutamia yksinkertaisia kokeiluja viittausindeksien laskemisesta Haaga-Helian julkaisuista.

Haaga-Helian 4 vuoden h-indeksi oli Google Scholarin datan perusteella 7, liiketaloustieteiden h-indeksin ollessa 4, tietojenkäsittelytieteiden h-indeksin ollessa 4 ja yhteiskuntatieteiden yhteisen h-indeksin ollessa 6. Neljän vuoden H-indeksi 7 tarkoittaa, että liiketalouden alalta on seitsemän julkaisua, joihin on viitattu seitsemän kertaa tai enemmän.

Suhteutettuna alansa keskiarvoon vuonna 2018 (yhden tietokannan mukaan laskettuna), Haaga-Helian liiketalouden julkaisujen normalisoitu viittausindeksi oli 1,94, tietojenkäsittelytieteen viittausindeksi oli 2,9 ja muiden yhteiskuntatieteiden 1,29 (toisen tietokannan viittausten perusteella laskettuna). Normalisoitu viittausindeksi tässä tarkoittaa sitä, että arvo 1 on yhtä kuin tietyn alan julkaisujen tiettynä vuonna saamat viittaukset keskimäärin. Liiketalouden 1,94 tarkoittaisi siis, että Haaga-Helian liiketalouden julkaisuihin olisi viitattu lähes tuplasti alan keskimääräistä enemmän.

Ei huono, tuttu tuomari ehkä sanoisi, ei huono ollenkaan. Mutta ovatko lasketut luvut vertailukelpoisia muihin kuin toisiinsa ja tuleeko lopputuloksen takana olevasta tekniikasta tyylipisteitä? Mitä lukujen ilmestymisestä täytyy tietää ennen kuin kannattaa laittaa oraakkelin hattua päähänsä?

---

Kirjoittaja on tietopalveluassistentti Haaga-Helian kirjastossa.

Blogin taustalla olevasta kokeilusta voit lukea enemmän täältä.

CSC – Tieteen tietotekniikan keskuksen tekemät bibliometriset raportit