Haaga-Helian kirjastossa olemme alkuvuonna törmänneet opiskelijoiden kysymyksiin tekoälytyökalujen hyödyntämisestä. Saadaksemme paremman käsityksen OpenAI:n ChatGPT-botista testasimme sitä suomeksi ja englanniksi pienimuotoisessa tietoasiantuntijoiden työpajassa.

Halusimme kokeilla, voiko ChatGPT:tä käyttää lähteiden etsimiseen. Pyysimme akateemista artikkelia aiheesta “luxury tourism”. Tekoälybotti tarjosi artikkelia “Luxury Tourism: The Effects of Perceived Authenticity, Emotional Satisfaction, and Loyalty”, tekijöinä Pablo Del-Río-Lanza, Juan C. Rodríguez, and José A. Frías. Artikkeli on tekoälyn mukaan ilmestynyt tiedekustantaja SAGEn vertaisarvioidussa Journal of Travel Research -lehdessä. Kuulostaa lupaavalta.

Yritimme jäljittää artikkelia eri tavoin, mutta tuloksetta. Tekoälyn antamalla DOI-tunnisteella ei löytynyt mitään. Journal of Travel Researchissä ei ole julkaistu tuollaista artikkelia eikä sitä löydy mistään muualtakaan.

Kirjoita minulle essee!

Miten ChatGPT:ltä sujuu suomenkielisen esseen kirjoittaminen? Pyysimme sitä kirjoittamaan yritysstrategioista esseen, jossa lähteenä käytetään kirjaa Blue Ocean Strategy ja tekstiin merkitään tekstiviitteet sivunumeroineen. Muita tietoja, esimerkiksi tekijöitä tai julkaisuvuotta, emme lähdeteoksesta antaneet.

ChatGPT tuotti puolen sivun verran tekstiä, joka päällisin puolin näyttää lupaavalta: luontevalla suomella kirjoitettua tekstiä Kimin ja Mauborgnen klassikkoteoksesta. Tekstiviitteetkin löytyvät. Tosin strategian nimeä botti ei ole hoksannut suomeksi kääntää.

Kun tekstissä esitettyjä tietoja tarkistaa lähdeteoksesta, huomaa pian, että lähdemerkinnät eivät pidä paikkaansa. Tekoälyn mukaan ”Kimin ja Mauborgnen tutkimukset ovat osoittaneet, että yritykset, jotka soveltavat Blue Ocean Strategiaa, saavat usein parempia tuloksia kuin kilpailijansa, ja niillä on pitkäaikainen kilpailuetu markkinoilla (Kim & Mauborgne, 2005, s. 3).” Kirjan sivulla 3 ei mihinkään tutkimuksiin viitata. Lähteeseen tehtyjen viittausten sivunumerot myös kasvavat nätissä suuruusjärjestyksessä tekstin edetessä: 3, 6, 28, 29, 61, jne.

Tekstiä voi pyytää jatkamaan, mutta hyvin pian teksti alkaa kiertää kehää, ja samat asiat toistuvat hieman eri tavoilla ilmaistuina. Siksi halusimme kuulla, miten mallia on viime vuosina tutkittu ja miten sitä on kritisoitu. Botti kuvaili vuonna 2015 julkaistuja tutkimuksia, joissa Sinisen meren strategiaa on sovellettu Kiinan matkapuhelinmarkkinoilla ja suomalaisessa metsäteollisuusyrityksessä.

Lähteiksi tekoäly väittää artikkeleita Sun, J., Hu, Q. & Wang, Q. (2015). Applying the blue ocean strategy to China’s mobile phone industry. Journal of Business Research, 68(4), 727-734 ja Jokinen, T. & Smeds, R. (2017). Blue Ocean Strategy in practice: a case study of a Finnish company. Journal of Strategy and Management, 10(2), 188-203. Miten botti osasikin tarjota suomalaiselle kyselijälle tutkimuksia juuri matkapuhelintoimialasta ja suomalaisesta metsäteollisuusyrityksestä?

No, ei se varsinaisesti osannutkaan, sillä näitäkään artikkeleita ei ole olemassa. Sun, J. tai Jokinen, T. -nimisiä tutkijoita toki maailmassa on, mutta pelkän etunimen alkukirjaimen perusteella on hankala selvittää, onko joku heistä tällaisia aiheita tutkinut. Ainakaan emme onnistuneet tällaisia tutkijoita löytämään.

Kriittisen tutkimuksen kohdalla botti kävi laiskaksi. Yksi kritiikkiä sisältänyt lähde olisi sen mukaan Kimin ja Mauborgnen oma alkuperäinen Blue Ocean Strategy -teos.

Tekoälyn kanssa kommunikoidessa helposti unohtuu, ettei ole kyse oikeasta keskustelusta. Sen kanssa ajautuu väittelemään. Tivasimme selitystä sille, miksi saamme keksittyjä artikkeleita ja mistä niiden otsikot ovat peräisin. Anteeksipyyntöjen ja selittelyjen lomassa tekoäly onnistui lopulta tarjoamaan selkeän vastauksen: “To answer your question, the article title and authors that I provided in my previous response were likely based on similar patterns and structures in my training data, but I did not verify the existence of the specific article itself.”

Faktat hallussa?

Jos ChatGPT:n antamiin lähteisiin ei voi luottaa, niin entäpä yksittäisten faktatietojen etsiminen tai tarkistaminen? Keskustelimme tekoälyn kanssa tunnetuista henkilöistä ja selvitimme, osaako se kertoa yksittäisiä tietoja heistä: sellaisia tietoja, jotka ovat arkipäivän tiedonhaussa melko helposti tarkistettavissa esimerkiksi tekemällä Google-haku.

Tekoäly osasi kertoa päällisin puolin melko hyvin, kenestä on kyse, kun kysyimme siltä eräästä suomalaisesta poliitikosta. Yksityiskohtien kanssa alkoi kompastelu. Syntymäaika- ja paikka ovat sen verran yksiselitteisiä tietoja, että ne menivät oikein. Sen sijaan puoliso ja vanhemmat olivat jo tekoälylle liian vaikeita ja se päätyi antamaan virheellisiä nimiä. Tekoäly jopa keksi poliitikolle kaksi lasta ja poliitikon vanhemmille urat.

Tiedon ei siis tarvitse olla kovin monimutkaista, kun oikean vastauksen löytäminen tuottaa jo tekoälylle vaikeuksia. Se pyrkii arvaamaan vastauksen tavalla, joka käyttäjälle näyttäytyy mielivaltaisena.

Tekoäly ei ole hakukone eikä se edes pääse tekemään hakuja netistä. Se etsii koulutusdatastaan sanojen välisiä malleja ja todennäköisyyksiä ja tuottaa vastauksen näiden perusteella. Väärän tiedon tunnistaminen on helppoa, kun kyseessä on testi ja aiheen valitsee sen mukaan, mistä itse tietää paljon. Jos on liikkeellä oppimistarkoituksessa, kriittisyys teettää paljon työtä, sillä jokaisen faktan joutuu etsimään ja tarkistamaan muualta.