Covid-19-pandemian aikana olen mielenkiinnolla seurannut keskustelua tutkitusta tiedosta. Esimerkiksi maskikeskustelussa asiantuntijoidenkin argumentit ovat menneet ristiin. Tieteellistä näyttöä pandemian hallintaan liittyvistä asioista on tullut vähitellen ja tutkimusten luotettavuus on parantunut. Tämä on hyvä osoitus siitä, että tutkittu tieto tarkentuu jatkuvasti. Se on sitä tarkempaa, mitä enemmän aihetta tutkitaan.

Tutkittu tieto on systemaattisesti tuotettua ja arvioitua

Tutkittu ja tieteellisin menetelmien tuotettu tieto on systemaattisesti ja analyyttisesti tuotettua tietoa joka on arvioitu vertaisarvioitsijoiden toimesta ennen julkaisua. Tämä ei kuitenkaan takaa, että tulokset olisivat täydellinen kuvaus todellisuuden ilmiöstä tai asiasta eikä varsinkaan lopullinen totuus. Tilastomenetelmissä puhutaankin todennäköisyyksistä, eikä ”totuudesta”.

Tutkijapiireissä on käyty viime vuosina mielenkiintoista keskustelua tutkimusten toistettavuuden kriisistä. Maailmalla on tehty tutkimuksia, joissa on pyritty mahdollisimman tarkasti toistamaan jo aikaisemmin julkaistujen tutkimusten tutkimusasetelma ja tulokset. Toistetuissa tutkimuksissa ei ole kuitenkaan läheskään aina saatu niin merkittäviä tuloksia kuin alkuperäisissä tutkimuksissa (katso esim. Open Science Collaboration, 2015).

Kyse ei ole siis tulosten virheellisyydestä tai vääristelystä, vaan syynä voi olla mittausvirhe tai ulkoinen kontrolloimaton muuttuja, joka on vaikuttanut tuloksiin (Loken & Gelman, 2017). Kyse on siten tulosten tilastollisesta virhemarginaalista, sattuman mahdollisuudesta tai väliin tulleesta muuttujasta. Gustavsson (2017) siteeraa artikkelissa alan tutkijoita, jotka selittävät tätä ilmiötä myös sillä, että tulokset esitetään usein sensaatiohakuisesti ja joskus jopa ruusunpunaisen filtterin läpi jotta ”tylsät” tulokset saadaan kuulostamaan merkittäviltä ja jännittäviltä. Tämä koskee siis yksittäisiä empiirisiä tutkimuksia.

Useampi saman aiheen tutkimus lisää luotettavuutta tuloksiin

Tieteelliset kriteeritkään täyttävä tutkimus ei välttämättä tarkoita sitä, että tulokset kuvaisivat todellisuutta sellaisenaan. Siksi vahvoja päätelmiä kannattaa tehdä vasta kun useampi tutkimus tuottaa samansuuntaisia tuloksia. Hyvänä esimerkkinä on Rich Mayerin (2009) arvostettu ja laaja teos Multimedia learning, jossa hän listaa useita tutkimuksia jotka osoittavat tietyn digitaalisen opetusmenetelmän tai yksityiskohdan tuottavan tiettyjä oppimispsykologisia efektejä.

Valitettavasti varsinkin netin kirjoituksissa ja asiantuntijablogeissa vedetään toisinaan vahvoja päätelmiä vedoten yhden journal-artikkelin tuottamiin tuloksiin. Esimerkkinä toimivat hyvin ravinto- ja terveysaiheiset iltapäivälehtien artikkelit, erilaiset blogit ja muut sosiaalisen median julkaisut.

Vertaisarvioitujen aikakauslehtien eli journalien välilläkin on suuri laatuero, ja usein parhaat tutkimukset julkaistaankin arvostetuimmissa lehdissä. Tieteen perusperiaatteeseen kuuluu, että se on itseään korjaava eli seuraavat tutkimukset osoittavat aikaisemman tutkimuksen tulosten pitävän paikkaansa. Myös tutkimusaineiston laajuudella, tutkimuksen kestolla ja tutkimusmenetelmillä on merkitystä tutkimuksen painoarvoa arvioitaessa.

Metatutkimukset eli kokoomatutkimukset, joissa tehdään koosteita aikaisemmista tutkimuksista ovat hyviä yhteenvetoja siitä, mitä jollakin alalla on löydetty jostakin asiasta siihen mennessä.

Minkälaiseen tietoon voi luottaa?

Itse luotan edelleen huomattavasti enemmän tieteelliseen tutkittuun tietoon kuin kaupallisten toimijoiden tuottamiin raportteihin tai yhden asiantuntijan kommentteihin, joita ei ole julkaistu vertaisarvioiduissa lehdissä. Hyvä esimerkki tästä on DIVA-hankkeemme tutkimus (ks. Alamäki & Korpela, 2021), jossa sosiaalisen median merkitys osana business-asiakkaiden ostokäyttäytymistä oli huomattavasti alhaisempi kuin alan konsulttien puheista tai kirjoituksista kävi ilmi. Kysyntää luovat alan konsultit ja kauppiaat esittävät ymmärrettävästi väitteensä usein hieman etukenossa. Näin luodaan uutta markkinaa ja kysyntää.

Vaikka edellä todettiin, että samaa aihetta tutkineiden tieteellisten artikkelien välillä on eroa tulosten merkitsevyyden suhteen, tiede on viimekädessä itseään korjaavaa, jolloin uudemmat artikkelit täydentävät tai vahvistavat edellisiä. Positiivisena asiana on se, että maailmalla tutkimusjulkaisujen määrä kasvaa jatkuvasti. Samoista asioista tulee jatkuvasti uusia ja edellisiä täydentäviä tutkimuksia.

Tästä huolimatta on edelleen paljon vanhoja klassikkoartikkeleita, jotka todetaan uusissakin tutkimuksissa edelleen relevanteiksi. Usein niiden kirjoittajat ovat alan tunnettuja tutkijoita, jopa nobelisteja. Tutkimuksen julkaisuvuosi ei siten ole tae luotettavuudesta — tosin tässäkin kannattaa huomioida julkaisun aihepiiri.

Lähteet:

• Alamäki, A. & Korpela, P. 2021. Digital transformation and value-based selling activities: seller and buyer perspectives, Baltic Journal of Management, 16,2, s. 298-317.
• Gustavsson, J. 2017. Nyt se on tutkittu: Suuri osa tutkimuksista on satunnaista kohinaa. Tekniikan maailma.
• Loken, E., & Gelman, A. 2017. Measurement error and the replication crisis. Science, 355, 6325, s. 584-585.
• Mayer, R. E. 2009. Multimedia learning (2nd ed.). Cambridge University Press. New York NY.
• Open Science Collaboration. 2015. Estimating the reproducibility of psychological science. Science, 349, 6251.