Oppimisanalytiikkaa opiskelijoille opintojen suunnittelun tueksi

Raportointitieto ei ole pelkästään johdon hyödynnettävissä oleva resurssi, vaan sitä voidaan käyttää laajasti organisaation eri puolilla. Haaga-Helia ammattikorkeakoulussa on vuosina 2022-2024 kehitetty tietovarastoarkkitehtuuria ja otettu käyttöön uusia pilvipohjaisia ratkaisuja. Uudesta pilvitietovarastosta on tuotettu raportointinäkymiä sekä johdon että opetus- ja ohjaushenkilökunnan työn tueksi. Henkilöstölle suunnattujen ratkaisujen lisäksi on herännyt tahto tuottaa sellaista raportointia, joka tukisi ja hyödyttäisi opiskelijoita heidän opintojensa suunnittelussa sekä etenemisen seurannassa.

Tässä artikkelissa kuvataan Haaga-Heliassa tehdyn oppimisanalytiikkakokeilun taustaa, toteutusta ja palautteen keräämistä. Lopussa pohdimme analytiikkaratkaisuja sekä teknisen toteuttamisen että tietojen hyödyntämisen näkökulmasta.

Oppimisanalytiikan hyötyjä

Sähköisten oppimisympäristöjen ja opiskelijahallinnon järjestelmien käyttö mahdollistaa oppijan toimintaa koskevan datan keräämisen, minkä ansiosta erilaisten analytiikkakoosteiden tuottaminen opettajan, ohjaajan ja oppijan tueksi on herättänyt kiinnostusta koulutustoimijoiden parissa. Oppimisanalytiikkaratkaisuja on tutkittu ja kehitetty useissa hankkeissa, ja esimerkkinä voidaan mainita opetus- ja kulttuuriministeriön rahoittama ja vuonna 2021 päättynyt APOA-hanke: Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa. Hankkeen koordinaattorina toimi Tampereen ammattikorkeakoulu ja Haaga-Helia oli yksi osallistujista (Tampereen ammattikorkeakoulu s.a.).

APOA-hankkeen tuloksena syntyneessä Oppimisanalytiikan käsikirjassa käydään läpi oppimisanalytiikan perusteita ja soveltamiskohteita. Kyseisen teoksen jäsennystä hieman mukaillen oppimisanalytiikan hyötyinä opiskelijalle voidaan tunnistaa seuraavat toiminnallisuudet (Kajasilta, Christopoulos & Laakso s.a., 3):

• Opinnoissa suoriutumisen seuraaminen
• Palaute oppimisprosessista
• Itsearvioinnin ja –säätelyn tukeminen
• Suositukset toimintatavan muutoksista, mahdollisesti myös sopivista opiskelumuodoista (esim. suositukset opintojaksoista toteutusmuoto huomioituna)

Jotta oppimisanalytiikan hyödyt saavutettaisiin, tulee miettiä, mikä funktio analytiikalla pitää olla hyötyjen tuottamisessa. Oppimisanalytiikan käsikirjan mukaan analytiikalla voi olla neljänlaisia tarkoituksia: kuvaileva, selittävä, ennustava ja ohjaava (Kajasilta, Christopoulos & Laakso s.a., 1).

Kuvaileva analytiikka vastaa kysymykseen, mitä on tapahtunut. Analytiikkaratkaisun suunnitteluvaiheessa selvitetään, mitä dataa olisi saatavilla, kootaan tiedot ja ryhmitellään sekä visualisoidaan niin, että olennainen erottuu. Aineisto esimerkiksi näyttää opiskelijalle kootusti, mitä hän on tehnyt.

Selittävä analytiikka pyrkii havainnollistamaan, miksi jokin asia tapahtui. Aineistosta etsitään syy-seuraus-suhteita, jotka muuten jäisivät piiloon. Esimerkiksi tiettyyn opintojaksoon käytetty aika tuotti tuloksen x. Voidaan hakea myös erilaisia säännönmukaisuuksia, jotta tunnistettaisiin kynnysarvoja esim. onnistuneelle suoritukselle.

Ennustavan analytiikan tavoitteena on hahmotella, mitä mahdollisesti tapahtuu jatkossa. Aineiston avulla pyritään laatimaan malleja, jotka tunnistaisivat mahdollisia ongelmakohtia tai onnistumisen tunnusmerkkejä. Analytiikan avulla voidaan myös osoittaa aineistosta trendejä ja ennakoida niiden mukaisia mahdollisia kehityskulkuja.

Ohjaava analytiikka pyrkii osoittamaan opiskelijalle, miten positiivinen tulos saadaan aikaiseksi. Tämän pohjaksi opiskelijalle tuotetaan palautetta ongelmakohdista ja häntä ohjataan kiinnittämään huomiota kriittisiin tekijöihin. Pelkkien ongelmien tunnistaminen ei ole hedelmällistä, joten opiskelijalle haetaan tai tuotetaan ehdotuksia ratkaisuista, joilla hän pääsee tavoitteeseensa. Ratkaisu voi olla esimerkiksi tietyn vaihtoehdon valinta edessä olevassa valintatilanteessa.

Kehittämistyön eteneminen

Tehtävänantoja opintojaksototeutuksille

Ensimmäiseksi pallo heitettiin opiskelijoille itselleen. Erilaisten analytiikkaratkaisujen mahdollisuuksien ja haluttavuuden tutkiminen annettiin Haaga-Heliassa tehtävänannoksi kahdelle Digitaalisen palvelun käyttäjäkokemus -opintojakson toteutukselle vuonna 2023. Tehtävänantoon tarttuminen oli vapaaehtoista, joten vastauksia saatiin valitettavan vähän, yhteensä vain kolme kappaletta.

Kaiken lisäksi opintojaksoilla tehdyt selvitykset eivät osoittaneet, että opiskelijat itse suoranaisesti kaipaisivat analytiikkaa hyödyntäviä palveluita. Sen sijaan kaivattiin aputyökalua tuomaan yhteen opintojen suunnittelua varten tarvittavaa tietoa, joka on tällä hetkellä hajallaan eri palveluissa. Vastausten joukosta oli kuitenkin mahdollista päätellä, että analytiikalla voisi lisätä opiskelijan ymmärrystä ja tietoisuutta omasta toiminnastaan.

Koska vastauksia oli saatu vain kolme, ei niiden perusteella voinut vielä tehdä varmoja johtopäätöksiä siitä, onko analytiikkatoiminnallisuuksille oikeasti tarvetta ja voisiko niillä tuottaa opiskelijalle jotain lisäarvoa. Tämän vuoksi kehittämistyötä jatkettiin Haaga-Helian Digipalvelut ja tietohallinto -ryhmän sisäisenä työskentelynä.

Oma analytiikkatoteutus

Seuraavaksi tavoitteeksi asetettiin pienen, analytiikkaan perustuvan pilottitoteutuksen laatiminen ja palautteen kerääminen opiskelijoilta. Tätä varten pohdimme, mitä suorituksia koskevaa tietoa opiskelija itse ei näe opiskelijarekisteristä, vaikka tieto sinänsä on olemassa. Yksi esimerkki tällaisesta on tieto siitä, mitä eri toteutusmuotoja opiskelija on valinnut opintojensa aikana ja minkälaisia tuloksia (käytännössä arvosanoja) hän on saanut – tieto voidaan esittää ryhmiteltynä eri toteutusmuotojen mukaan. Toteutusmuodoilla viitataan tässä täysin omaan tahtiin suoritettaviin verkkototeutuksiin (VIRTUAL), aikatauluun sidottuihin etäluentoihin (ONLINE) tai luokkahuoneessa toteutettavaan lähiopetukseen (CONTACT).

Tässä tapauksessa hyödynnetty analytiikka on kuvailevaa. Sen on tarkoitus kuvata, minkälaisia valintoja opiskelija on tehnyt ja minkälaisia suorituksia hän on saanut aikaan. Toisaalta analytiikan on tarkoitus selittää: se näyttää arvosanojen tason yhdistettynä toteutusmuotoihin, joten jos arvosanoissa on eroja, yksi selittävä tekijä voi olla opiskelijan opiskelutyyliin tai elämäntilanteeseen sopimaton toteutusmuoto.

Motivaatiota tämän tiedon esiin saamiseen on saatu opinto-ohjaajilta, jotka ovat tunnistaneet jonkinasteiseksi ongelmaksi sen, että opiskelijat vaikuttavat valitsevan toteutusmuotoja (esim. täysin verkossa suoritettavat opinnot), jotka heille eivät kuitenkaan kaikesta päätellen sovi. Seurauksena on, että saman opintojakson suoritus saattaa keskeytyä useitakin kertoja. Näin kehittämistyön tavoitteeksi asetettiin ratkaisu, joka tuottaisi opiskelijalle koosteen siitä, minkä eri toteutusmuotojen toteutuksille hän on osallistunut ja minkälaisia arvosanoja hän on toteutusmuodon mukaan jaoteltuna saanut (näytetään eri toteutusmuotojen arvosanojen keskiarvot).

Toteutusratkaisun kuvaus

Lakehouse-arkkitehtuuri tiedon varastoinnin ja analytiikan pohjana

Uudet työkalut ja vapaan lähdekoodin teknologiat ovat auttaneet organisaatioita rakentamaan tehokkaita, luotettavia ja joustavia arkkitehtuureja palvelemaan erilaisia data- ja analytiikkatarpeita. Lakehouse-arkkitehtuuri on esimerkki tästä. Siinä hyödynnetään tietoaltaan (data lake) ja perinteisen tietovaraston ominaisuuksia, minkä vuoksi sitä kutsutaan lakehouseksi.

Tietoaltaaseen voidaan tallentaa sekä rakenteellista että ei-rakenteellista dataa useissa tiedostomuodoissa joustavasti ja edullisesti. Sen kapasiteettia säädetään tarpeiden mukaan ja kustannukset muodostuvat käytön perusteella. Perinteiset tietovarastot puolestaan ovat yhteiseen tietorakenteeseen perustuvia tiedon säilytyspaikkoja, joihin kootaan dataa useista eri järjestelmistä. Ne takaavat tehokkaan data prosessoinnin, mutta ne soveltuvat vain rakenteisen tiedon käsittelyyn. (Thalpati 2024)

Thalpatin mukaan lakehouse-arkkitehtuurin etuina ovat hyvä suorituskyky sekä mahdollisuus hyödyntää avoimen lähdekoodin laskentamenetelmiä ja tiedostotyyppejä. Lisäksi lakehouse on monikäyttöinen soveltuessaan eri tiedostomuotojen käsittelyyn ja sitä voidaan käyttää perinteisen liiketoimintatiedon raportoinnin ohella kehittyneempiin datan käyttötarpeisiin, esimerkiksi koneoppimisen sekä muiden tekoälymenetelmien hyödyntämiseen. (Thalpati 2024.)

Haaga-Helia ammattikorkeakoulussa rakennettiin lakehouse-arkkitehtuuriin perustava toteutus tiedon varastointia varten vuonna 2023. Uusi ratkaisu perustettiin Microsoftin Azure-pilviympäristöön, jossa lakehousen toteuttamiseen on tarjolla useita eri työkaluja. Haaga-Heliassa pääasialliseksi työkaluksi valittiin Azure Synapse. Se mahdollistaa tiedonsiirrot, tarvittavan datan muokkauksen ja tallennuksen lakehousen pohjana olevaan tietoaltaaseen. Azure Synapsessa suuria tietomassoja käsitellään tyypillisesti Apache Sparkilla. Se on avoimen lähdekoodin laskentamoottori, joka soveltuu suurten tietoaineistojen louhimiseen. (L’Esteve 2022.)

Haaga-Helian lakehousen yksi tärkeimmistä tietolähteistä on opintohallinnon Peppi-tietojärjestelmä. Peppi sisältää toiminnallisuuksia, joilla koulutusorganisaatiot pystyvät hallitsemaan opetukseen liittyviä tehtäviä sekä ylläpitämään opiskelijoihin, opettajiin ja opintoihin liittyviä tietoja. (Metropolia Ammattikorkeakoulu Oy ja Tampereen ammattikorkeakoulu Oy s.a.) Pepin toteutusarkkitehtuuri perustuu useisiin palvelimiin ja niiden sisällä oleviin tietokantoihin. Haaga-Helian data-analytiikan ja raportoinnin kannalta keskeisimmistä Peppi-järjestelmän palvelimista muodostetaan päivittäin tiedostomuotoiset kopiot (hot backup), joista on rakennettu tiedonsiirto Azure-ympäristön tietoaltaaseen. Hot backup -prosessia hyödyntämällä isoja tietomääriä pystytään siirtämään pilviympäristöön tehokkaasti kuormittamatta tietojärjestelmän rajapintoja tai operatiivisia toimintoja, ja tietokanta on koko ajan käytettävissä varsinaiseen tarkoitukseensa.

Analytiikkaa opiskelijoille -pilotissa tarvittava data pohjautuu siis Peppi-tietojärjestelmään, jonka sisältämiä tietoja tuodaan tietoaltaaseen tiedostomuotoisina kopioina. Nämä tiedostot sisältävät tietokantatauluja, mutta ideana lakehouse-käsittelyssä on muokata rakenteiseen muotoon vain osa tiedostomuotoisen kopion sisällöstä ilman, että koko tietokantaa täytyy rakentaa raportointiympäristöön. Hot backup -tiedostokopioiden käytöllä vältetään se, että raportointitiedot täytyisi hakea tuotantoympäristöstä tuotantoympäristön omilla resursseilla.

Analytiikkapilotissa Peppi-tietojen yhdistely sekä muokkaaminen toteutettiin SQL-tietokantakieltä ja Python-ohjelmointikieltä hyödyntämällä Synapse notebookissa. Synapse notebookissa ohjelmointikomentoja ajetaan soluissa ja ohjelmointikieltä voi vaihtaa joustavasti tarpeen mukaan. Notebook-pohjaisessa kehittämisessä etuna on Spark-laskennan hyödyntäminen käytön mukaan, jolloin kiinteään käyttökustannukseen perustuvia laajoja relaatiotietokantoja ei välttämättä tarvita.

Pilotissa datan prosessoinnissa käytettiin edellä mainittua Spark-moottoria. Näin saatiin yksittäisten opiskelijoiden suoritustiedot louhittua erittäin suuresta tietomassasta ilman, että kokonaisia tietokantoja tarvitsi rakentaa uudelleen kyselyitä varten. Pilotteihin käyttöperusteinen (pay-as-you-go) hinnoittelu sopii hyvin, koska aloituskustannukset pysyvät matalina ja tekniseen toteuttamiseen päästään nopeasti.

Analytiikkaan tarvittavan datan määrittely ja kokoaminen

Analytiikka opiskelijoille -pilotin tarkoituksena oli tarjota opintosuorituksista yhteenvetotietoja visuaalisessa muodossa sekä antaa näkyvyys tietoihin, joita opiskelija ei näe Pepin käyttöliittymästä, esimerkkinä suoritusten jakautuminen eri toteutustyypeittäin. Pilotissa hyödynnytetyt tiedot olivat muodostuneet useisiin Pepin tietokantojen tauluihin. Haaga-Helian Azure-pilviympäristössä tekninen toteuttaminen sujui kuitenkin ketterästi.

Tietojen käytettävyyden ja yhdistelylogiikan ymmärtämisessä tärkeässä roolissa olivat Haaga-Helian Peppi-asiantuntijat. He arvioivat tietojen yhdistämisperiaatteet sekä laskentaoperaatiot ottamalla huomioon Pepin käyttöhistorian. Käyttötapojen useiden variaatioiden vuoksi kaikkia alkuperäisissä määrittelyissä suunniteltuja tiedon yhdistämisiä ei voitu toteuttaa luotettavasti. Tästä syystä esimerkiksi opintojaksoissa käytettyä BLENDED-toteutustyyppitietoa ei yhdistetty suoritukseen, koska se olisi tuonut tietojoukkoon tuplarivejä. BLENDED on yhdistelmä eri toteutustyypeistä: esim. verkkototeutus, jossa on aloitus- ja lopetuskerta lähiopetuksena. Toteutuksen kuvaus sisältää näin ollen yleensä joitain tarkentavia lisämääreitä eli BLENDED-arvon kanssa Peppiin on merkitty myös muiden toteutustyyppien arvoja. Niiden takia datajoukkoon olisi muodostunut virheellisiä tietoja eli raportin mukaan opiskelija olisi esimerkiksi näyttänyt suorittaneen saman opinnon kaksi kertaa. Näitä olisi toki voinut poistaa tarkemmalla datan esiprosessoinnilla, mutta koska kyseessä oli pilottiversio ja palautetta haluttiin nopeasti, päädyttiin yksinkertaistamaan käsittelyä jättämällä kyseiset arvot kokonaan pois.

Yhdessä Peppi-asiantuntijoiden kanssa tehtyjen määrittelyjen pohjalta tietojoukkoon haettiin seuraavat opiskelijoiden suorituksiin liittyvät tiedot: toteutuksen nimi, status (suoritus hyväksytty/hylätty), arvosana, toteutustapa (VIRTUAL, ONLINE, CONTACT, DEMO), opintopisteiden määrä ja suorituspäivämäärä. Jo aiemmin kuvattujen toteutusmuotojen lisäksi koosteeseen on sisällytetty DEMO-koodilla merkityt suoritukset, jotka perustuvat näyttöön. Tietojoukosta puolestaan rajattiin ulos suoritukset, joista ei kerry opintopisteitä (esimerkiksi tasokokeet) sekä osasuoritukset, jotka ovat kokonaissuorituksen osia. Lopuksi tietojoukko tallennettiin tietoaltaaseen Parquet-tiedostomuodossa.

Datan käsittelyprosessista muodostettiin automatisoitu kokonaisuus kokoamalla kaikki tarvittava Synapse-dataputkeen (data pipeline). Siinä prosessia suoritetaan vaiheittain ja sen toimintaa voidaan tarvittaessa tehostaa. Prosessin vaiheet ovat:

1. Haaga-Helian konesalin palvelimien tietokannoista muodostetaan tiedostokopio (hot backup), joka siirretään Azure-tietoaltaaseen
2. Tietokantatiedosto kopioidaan Azuren Windows-virtuaalikoneelle (VM)
3. Virtuaalikoneella tiedostokopio (hot backup) avataan luettavaan muotoon
4. Synapse-työkalulla data siirretään ja tallennetaan Spark-altaaseen käsittelyä varten
5. Tietoja muokataan ja yhdistetään ja tietojoukot tallennetaan tietoaltaaseen
6. Tietojen visualisointi Power BI-työkalulla

Analytiikkaa opiskelijoille -pilotin tiedonkäsittelyprosessi ja sen eri vaiheet ovat koottuna kuvaan 1.

Kuva 1. Datan käsittelyprosessin vaiheet Analytiikkaa opiskelijoille -pilotissa

Datan visualisointi opiskelijakohtaisiksi näkymiksi

Power BI -työkalun hyödyntäminen analytiikassa

Opiskelijoille näytettävien koosteiden tuottamisessa käytettiin Microsoftin Power BI -ratkaisua. Power BI on data-analytiikka- ja visualisointityökalu, joka on osa Microsoftin laajennettua ekosysteemiä. Se sisältää useita toiminnallisuuksia, joita hyväksikäyttämällä käyttäjät pystyvät rakentamaan ja jakamaan dataan liittyviä ratkaisuja. Sen keskeisimmät komponentit ovat Power BI Desktop ja Power BI Service. Power BI Desktop -ohjelmalla muodostetaan yhteys dataan ja sen avulla muokataan sekä visualisoidaan tietojoukko. Interaktiivisilla raporteilla ja visualisoinneilla datasta voidaan löytää uusia, aiemmin huomaamattomia asioita. Power BI Desktop on ilmainen ja se asennetaan omalle tietokoneelle. Power BI Service toimii verkossa ja sen avulla Power BI Desktopilla rakennetut raportit voidaan jakaa kohderyhmälle. (Arnold 2022.)

Analytiikka opiskelijoille -pilotissa Power BI -työkalua hyödynnettiin datan esittämisessä ja visualisoinnissa. Yhdessä laaditun suunnitelman mukaan opiskelijoille tuotettiin kolme eri analytiikkanäkymää (näkymät 1, 2 ja 3), joista jokaisella oli eri tarkoitus. Näkymät oli rajattu käyttäjäkohtaisesti siten, että jokainen näki vain omista tiedoistaan muodostetun koosteen ja analyysin.

Näkymä 1

Näkymässä 1 olivat lueteltuina kaikki ne opiskelijan suoritukset, jotka ylipäätään olivat mukana analytiikkatarkastelussa. Joukosta oli jätetty pois opinnot, jotka on suoritettu toisessa korkeakoulussa tai Haaga-Heliassa toisella opiskeluoikeudella. Ne on voitu joko hyväksilukea korvaamaan joku opetussuunnitelman mukainen opinto tai vaihtoehtoisesti ne on sisällytetty tähän tutkintoon osana vapaasti valittavia opintoja. Perusteluna poisjättämiseen on se, että muualla suoritetuista opinnoista ei välttämättä ole arvosanaa eikä tietoa toteutusmuodosta, joten ne eivät vastaa tässä analytiikkatoteutuksessa haettuihin kysymyksiin eri toteutusmuotojen tuottamasta tuloksesta.

Myös osasuoritukset on jätetty pois analyysistä, koska niiden laajuus ja painotus kokonaisarvosanassa ei välttämättä käy aina ilmi rekisteritiedoista. Osasuoritusten kohdalla myös toteutusmuototieto voi olla vaihtelevasti käytettävissä. Näkymän 1 sisältämä konkreettinen luettelo (Kuva 2) tarkastelussa mukana olevista suorituksista ei vielä vastaa asettamiimme kysymyksiin, mutta se auttaa opiskelijaa hahmottamaan, mitä kaikkea hänelle esitettävä kooste sisältää, jolloin hän osaa suhtautua koosteen tuottamaan analyysiin realistisesti.

Kuva 2. Esimerkki näkymästä 1: listaus analytiikkakoosteeseen mukaan poimituista opintosuorituksista

Näkymä 2

Näkymässä 2 oli eritelty eri toteutusmuodoittain ryhmiteltynä, paljonko opintosuorituksia on kertynyt ja mikä on arvosanojen keskiarvo (Kuva 3). Kuten edellä on kuvattu, koosteesta on jätetty pois BLENDED-tyypin toteutukset (ovat yhdistelmä eri toteutusmuotoja), koska niihin liittyvien lisämääreiden vuoksi raporttiin olisi muodostunut joistain suorituksista duplikaatteja. Joukossa saattaa olla toteutusmuotojen VIRTUAL, ONLINE ja CONTACT lisäksi myös näyttönä suoritettuja opintojaksoja (DEMO) ja mahdollisesti sellaisia opintojaksoja, joista toteutustieto puuttuu kokonaan (esim. työharjoittelu).

Tässä tarkastelussa arvosanojen keskiarvossa on mukana hylättyjä arvosanoja, siksi oli tärkeää tuoda selkeästi esille, että arvosanojen keskiarvo ei ole sama kuin opiskelijarekisterissä (Pepissä) näkyvä keskiarvo. Opiskelijarekisterissä arvosanojen keskiarvoon huomioidaan vain hyväksytyt suoritukset. Tässä haluttiin osoittaa hylättyjen suoritusten mukaan ottamisen kautta se, että mahdollisesti joku toteutusmuoto ei sovi opiskelijalle optimaalisesti.

Kuva 3. Näkymä 2: opintosuoritukset ja niiden keskiarvot eriteltynä toteutustyyppien mukaan

Näkymä 3

Viimeisenä esitettiin näkymässä 3 kokonaiskuva, jossa on esillä koko opintopistekertymä ja suoritusten määrä sekä keskiarvo suoritusvuoden mukaan jäsennettynä (Kuva 4). Koosteesta on mahdollista havaita, mikäli arvosanojen keskiarvo vaihtelee vuosien välillä. Tämä näkymä sisälsi myös aiemmissa opinnoissa suoritetut opinnot ja ylipäätään kaikki suoritukset riippumatta siitä onko arviointi tehty numeerisella arvosanalla. Mukana ovat siis esimerkiksi ”hyväksytty”-arvosanalla kirjatut suoritukset, jotta opintopistekertymässä näkyy oikea lukumäärä.

Näkymän avulla opiskelija pystyy havainnoimaan, onko arvosanojen keskiarvossa vaihtelua suoritusajankohdan mukaan. Näin hän voi arvioida, onko toteutusmuodon lisäksi mahdollisesti muita tekijöitä, jotka korreloivat arvosanatason vaihtelun kanssa.

Kuva 4. Näkymä 3: opintopistekertymä ja arvosanojen keskiarvot ryhmiteltynä suoritusvuoden mukaan

Opiskelijoilta saatu palaute

Palautekeskusteluiden toteutus

Visualisoinnit esiteltiin opiskelijoille yksitellen käydyissä keskusteluissa, ja jokainen opiskelija näki vain omiin suorituksiinsa liittyvät tiedot. Vapaaehtoisiksi koehenkilöiksi saatiin kolme opiskelijaa, jotka olivat jo pitkällä opinnoissaan. Heidät kutsuttiin joko Teamsin välityksellä tai paikan päällä käytävään keskusteluun ja kullekin varattiin puoli tuntia aikaa.

Aluksi läpikäyntiä pohjustettiin esittämällä kolme johdattelukysymystä:

1. Oletko koskaan miettinyt, minkälaisista toteutustyypeistä valitsemasi opinnot koostuvat?
2. Mitkä tekijät ovat yleensä vaikuttaneet siihen, minkä toteutusmuodon olet valinnut?
3. Oletko ajatellut, mikä toteutusmuodoista sopii omaan opiskelutyyliisi parhaiten ja mikä tuottaa parhaita oppimistuloksia?

Vastaaja 1: Olen valinnut pääosin virtuaalitoteutuksia, se on ollut mieluisin toteutusmuoto. Olen suorittanut opinnot töiden ohessa ja olen pitänyt virtuaalitoteutusten joustavuudesta. Niillä saa opiskella omaan tahtiin, oman aikataulun mukaan. Olen itseohjautuva, joten kyseinen toteutusmuoto sopii parhaiten. Mielestäni virtuaalitoteutukset tuottavat parhaita tuloksia, enkä tiedä, mitä lisäarvoa saisin lähiopetuksesta.

Vastaaja 2: Olen aiemmin suorittanut toisen amk-tutkinnon, jossa kaikki oli lähiopetusta. Nämä nykyiset opinnot puolestaan alkoivat korona-aikana, jolloin oli vain etäopetusta, mutta sen jälkeen on ollut sekä etä- että lähiopetusta. Oma elämäntilanne on vaikuttanut toteutusmuodon valintaan. Minulla on kaksi lasta, toinen koulussa, toinen päiväkodissa. Sen vuoksi en ole valinnut mitään klo 16:n jälkeen toteutettavia opintoja, jotta voin olla perheen kanssa. Olen siis valinnut päivätoteutuksia tai virtuaalitoteutuksia. Opintojen joukossa on ollut myös lähiopetusta, mutta suurin osa lähiopetuksesta on ollut opintojen alkupuolella. Positiivisena kokemuksena jäi mieleen toteutus, jossa sai valita, osallistuuko lähi- vai etäopetukseen. Toisella toteutuksella puolestaan oli hyvää se, että luentoja saattoi seurata etänä reaaliaikaisesti, mutta katsoa uudelleen tallenteena. Enemmän kallistun etäopetukseen, jos se on mahdollista ja tallennetut luennot ovat plussaa. Täysin virtuaaliset toteutukset ilman kontaktia opettajaan eivät ole niin toivottavia, sillä on hyvä, jos on tarvittaessa mahdollisuus kysyä opettajalta. Osittain toteutusmuodon sopivuuteen vaikuttaa opetettava asia: monimutkaisten asioiden kohdalla on hyvä, jos on mahdollisuus suoraan kontaktiin opettajan kanssa.

Vastaaja 3: Arviolta kaksi kolmasosaa on ollut virtuaalitoteutuksia, loput BLENDED- tai CONTACT-tyyppisiä. Ohjelmoinnissa valitsin mieluiten virtuaalisen toteutuksen, sillä luokkaympäristö jossain määrin jopa häiritsi keskittymistä. Korona-aikaan alkaneet opinnot eivät mahdollistaneet oman yhteisön muodostumista, joten paikan päälle saapuminen ei tuonut mitään lisäarvoa. Omaan tyyliin sopii rauhallinen tempo, jossa voi ottaa aikaa ja edetä omaan tahtiin. Virtuaalitoteutuksissa on mahdollisuus valita itse opiskelun ajankohta ja minkälaisina osakokonaisuuksina sitä vie eteenpäin. Yleensä siis valitsen etätoteutuksia, paitsi jos on ryhmätöitä, jotka hyötyvät kasvokkain tapaamisesta. Ryhmätöissä olen mieluiten paikan päällä.

Analytiikkanäkymien herättämät ajatukset

Alkukeskustelujen jälkeen kullekin osallistujalle esiteltiin heidän omaan dataansa perustuvat kolme analytiikkanäkymää ja he saivat oman mielenkiintonsa mukaan rauhassa aikaa tutustua näkymien sisältöön. Power BI -työkalussa käyttäjän on mahdollista tehdä omia rajauksia valitsemalla vain osa näkymässä olevista suorituksista. Hän voi esimerkiksi tutkia, mistä toteutusmuodoista parhaat arvosanat (arvosana 5) ovat kertyneet.

Näkymien tarkastelun jälkeen keskustelu jatkui. Opiskelijoille esitettiin joitakin jatkokysymyksiä:

1. Saitko esitellyistä näkymistä jotain sellaista informaatiota, jota Pepistä ei ole tullut havaittua? Arvioitko siitä olevan hyötyä opiskelijalle?
2. Tuleeko mieleesi muita vastaavia asioita/näkökulmia, joiden esittämisestä opiskelijalle voisi olla hyötyä?

Vastaaja 1: Tunnen suunnilleen omat opintoni, joten ei tullut paljon uutta. Suoritusten keskiarvon muutos per vuosi oli kiva ja mielenkiintoinen. Ehkä myös päivä-/monimuototeutusten jakauma voisi olla hyödyllinen.´ Kysyttäessä vielä erikseen tulevaisuusennusteesta hän arvioi, että voisi olla kiinnostavaa saada arvio, kauanko opintoihin tulee kulumaan aikaa ja mikä tulisi olemaan arvosanataso. ´Ei kuitenkaan liikaa välilehtiä ja informaatiotulvaa.

Vastaaja 2: Oli kiinnostava katsoa visualisointeja, Pepissä asioita joutuu hakemaan monesta paikasta hyppimällä. Koosteen näkeminen auttaa reflektoimaan omia opintojaan. Kun on valitsemassa opintoja, voisi olla hyvä nähdä, miten arvosanojen keskiarvot vaihtelevat eri toteutusmuodoissa (pohjadata olisi silloin kerätty kaikilta opiskelijoilta, jotka ovat suorittaneen kyseisen toteutusmuodon aiemmin). Raportoinnin lisäksi olisi mielenkiintoista nähdä myös ennustetta eteenpäin. Ehkä opintojen suunnitteluvaiheessa olisi hyvä olla myös mahdollisuus kirjata henkilökohtaiseen opiskelusuunnitelmaansa, mitä toteutusmuotoa haluaisi mieluiten suorittaa (nykyisellään tällaista mahdollisuutta ei ole: suunnitelma sisältää vain opintojakson, ei toteutusmuotoa). Yleensä kuitenkin olen päässyt sille toteutukselle, jolle olen hakenut, joten toteutusmuototoive on toteutunut myös siinä samalla.

Vastaaja 3: ´Oli mielenkiintoista katsoa dataa visualisoituna. Oli pieni yllätys, että joukossa oli lähiopetusta niinkin paljon. Muuten ei tullut mitään uutta tietoa. Voisi toki olla hyödyllistä näyttää arvosanojen keskiarvoja sellaiselle opiskelijalle, joka ei mielellään tule lähiopetukseen, mutta kuitenkin saa siitä hyviä arvosanoja. Se voisi tuoda lisämotivaatiota hänelle. Uutena ideana voisi olla suuntautumisittain tehty koosteraportti, jossa näkyy, mitä eri suuntautumisten opintoja opiskelija on suorittanut ja miten niissä on menestynyt. Opiskelijalle voisi myös tulla määrävälein esim. sähköpostilla raportti, jossa olisi kooste opintojen etenemisestä. Hyötynä siitä voisi olla opiskelijan havainto, että tietystä toteutusmuodosta saat parempia keskiarvoja.´

Yhteenvetona voisi todeta, että haastateltujen opiskelijoiden suhtautuminen analytiikkakoosteisiin oli positiivista, joskaan mitään suurta ahaa-elämystä ne eivät tuottaneet. Esittelyt poikivat kuitenkin jonkin verran ideoita uusista näkymistä tai analytiikkatoteutuksista, joten voitaneen sanoa, että opiskelijoille suunnatussa oppimisanalytiikassa on tunnistettavissa ainakin jonkinasteista hyötypotentiaalia.

Jatkopohdiskeluja

Tekniikka ja datan laatu haastavat

Azure-pilviympäristö ja lakehouse-arkkitehtuuri tarjoavat joustavan ja kustannustehokkaan ratkaisun data-analytiikan toteuttamiseen. Tämä mahdollistaa sekä analytiikkaa opiskelijoille -tyyppisten pilottien että laajojen data-analytiikkaratkaisujen rakentamisen. Tekniseen toteuttamiseen ne tarjoavat perinteisiin tietovarastoihin verrattuna enemmän joustavuutta ja mahdollisuuksia hyödyntää eri teknologioita sekä ohjelmointikieliä. Käytännön tekeminen kuten datan siirtäminen, muokkaaminen ja analysointi vaatii kuitenkin erikoisosaamista ja ohjelmointitaitoja.

Nyt toteutetussa pilotissa oli tärkeää tuntea Pepin käyttöhistoriaa ja ymmärtää sen vaikutus datan muodostumiseen. Analytiikkaa opiskelijoille -pilottia tai ylipäätään muitakaan Peppi-dataan pohjautuvia analytiikkaratkaisuja ei voi Haaga-Heliassa luotettavasti toteuttaa ilman Peppi-järjestelmän käyttötapojen ja hallinnointikäytäntöjen asiantuntijoiden apua.

Käyttöhistorian lisäksi tulee ottaa huomioon tietokannan rakenteeseen toteutetut muutokset. Osa tietokannan kehittämistyöstä on tehty muiden Peppi-käyttäjäorganisaatioiden kanssa samassa konsortiossa, jolloin yksittäisen korkeakoulun kannalta lopputulos on toimiva, mutta ei ehkä paras vaihtoehto. Ylipäätään ratkaisut Peppi-tietokannassa on tehty käytännön tarpeisiin ja nopeiden, kustannustehokkaiden toteutusten tuottamiseksi. Silloin ei ole ajateltu sitä, miten tietomallista saadaan mahdollisimman ´siisti´ ja yksiselitteinen, jolloin analytiikan rakentaminen olisi helpointa.

Tässäkin tapauksessa tiedon yhdistämislogiikka ja käsittelysäännöt pystyttiin rakentamaan luotettavasti vain Peppi-asiantuntijoiden ohjauksen avulla. Heidän roolinsa pilotissa oli keskeinen. He tuntevat tietojen kirjaamiskäytäntöjen muutoshistorian ja osaavat neuvoa varautumaan kenttien sisällöissä oleviin variaatioihin. Lisääntyneiden analytiikkatarpeiden vuoksi Pepin käyttöä on kuitenkin viime aikoina pystytty ohjaamaan suuntaan, jossa järjestelmän sisälle muodostuvaa dataa voidaan jatkossa hyödyntää paremmin. Käytännössä tämä on tarkoittanut yhdenmukaisten kirjaamiskäytäntöjen luomista, mutta niiden käyttöönotossa tarvitaan vielä lisätyötä.

Raporttien sisällön kehittäminen

Lopputuloksena syntynyt Power BI -raportti sisälsi tietoja opiskelijoiden suorittamista opinnoista eli raportti katsoi menneisyyteen. Jatkossa yksi potentiaalinen kehitysvaihtoehto olisi soveltaa esimerkiksi koneoppivia algoritmeja kertyneeseen dataan ja laatia ennusteita tulevasta kehityksestä. Mikäli mukaan saataisiin ilmoittautumisia koskevat tiedot, voitaisiin ilmoittautumisten avoinna ollessa tuottaa ohjaavaa analytiikkaa: ilmoittautumisten perusteella tuotettaisiin opiskelijalle ennuste tulevasta opintomenestyksestä. Mikäli mahdollista, voitaisiin myös ehdottaa joitain muutoksia alustaviin ilmoittautumisiin.

Ennen mahdollisia analytiikkatoteutuksia tulisi kehittäjien vielä jatkaa käyttäjien kanssa yhteistyössä tehtävää konseptointia ja testausta. Nyt jo tuli joitakin ehdotuksia uusista näkökulmista: päivä- ja monimuotototeutusten suoritusten koostaminen, eri suuntautumisten välinen vertailu, opintojen suoritusaikaennuste ja kaikkien opiskelijoiden suorituksiin perustuva tieto määrätyn toteutustyypin arvosanakeskiarvosta. Kaikkien yhteiseen dataan perustuvan koosteen tuottamisessa kuitenkin tietosuojavaatimukset kasvavat ja se tuo suunnitteluun uusia haasteita.

Raportin jakeluun tuli ehdotus sähköpostitse lähetettävistä koosteista. Käytännössä tämä voisi olla linkki analytiikkanäkymään, jonka katsominen edellyttää kirjautumista. Näin tietosuoja ei vaarantuisi, mutta sähköpostilla tullut viesti antaisi herätteen tarkastella omia suoritustietoja. Ajankohta voisi olla sopivasti seuraavia periodeja koskevan ilmoittautumisajan yhteydessä. Ratkaisujen suunnittelussa on useita huomioitavia näkökohtia (raportin sisältö, ajoitus, jakelutapa), jotka kaikki tulee ottaa tarkasteluun. Tavoitteena olisi lopputulos, joka on opiskelijalle oikeasti lisäarvoa tuottava eikä kuormitusta lisäävä.

Kuva: Haaga-Helia