Kirjastojen vaikuttavuuden arviointia on ohjannut vuodesta 2016 lähtien standardi (SFS-ISO 16439), mutta ammattikorkeakoulukirjastoissa on tehty vaikuttavuuden arviointia osana laatutyötä niiden toiminnan alkuajoista lähtien. Laatujärjestelmän avulla on haluttu varmistaa palveluiden korkea taso ja jatkuva kehittyminen. Kirjastoissa on koettu tärkeäksi pystyä osoittamaan niiden tuottama hyöty ja lisäarvo koulutukselle sekä nähty, että kirjasto- ja tietopalveluiden laatu kulkee käsi kädessä koulutuksen laadun kanssa.

Kirjastojen vaikuttavuuden arvioinnin menetelmät ja toimenpiteet -standardi määrittelee kirjaston vaikuttavuuden arvioinnin olevan kirjaston arvon osoittamista yksilöille, kehysorganisaatiolle ja yhteiskunnalle. Kaikille näille arvo voi tarkoittaa vähän eri asiaa.

Opiskelijoille ja henkilökunnalle kirjaston vaikuttavuus tarkoittaa kirjastopalveluiden aiheuttamaa tai mahdollistamaa muutosta esimerkiksi tiedoissa ja kyvyissä, parempaa menestystä tutkimuksessa, opiskelussa tai uralla. Kehysorganisaation kannalta nämä taas voivat tarkoittaa esimerkiksi parempaa onnea rahoitushauissa. Kirjaston yhteiskunnallinen vaikuttavuus seuraa näistä ja merkitsee esimerkiksi parempia mahdollisuuksia tiedonsaantiin ja koulutukseen.

Haastavaa vaikuttavuuden arvioinnissa on se, että tuotoksia kyllä voidaan havainnoida ja mitata, mutta miten arvioida tuotosten vaikutuksia ja vaikutusten vaikuttavuutta?

Step 1: Aineisto. Step 2: Lainaus/lataus. Step 3: Tiedot/taidot Step 4: Vaikuttavuus!

Kirjaston vaikuttavuuden arvioinnin standardissa vaikuttavuuden arviointi rakentuu panos – prosessit – tuotos – tulos – vaikutus/vaikuttavuus -mallille.

Panoksia ovat kirjaston resurssit, kuten rahoitus, kokoelmat, tilat ja henkilöstö. Prosesseja esimerkiksi lainaus / lataus, tiedonhaun koulutukset ja aineiston kuvailu. Prosessien tuotoksia ovat muun muassa kokoelmassa olevien aineistojen määrät, laina- ja latausmäärät sekä koulutuksiin osallistuneiden määrät. Tuloksena voi olla esimerkiksi asiakkaiden tiedonarviointitaitojen kehittyminen. Standardin taustalla on ajatus siitä, että vaikuttavuutta ei voi havaita suoraan vaan se täytyy päätellä erilaisista vihjeistä ja tuotoksia kuvaavista aineistoista. Se kannustaa keräämään tietoa monilla eri menetelmillä ja yhdistämään laadullisia ja määrällisiä aineistoja: tilastoja, asiakastyytyväisyyskyselyitä, haastatteluita ja muita havaintomenetelmiä.

Korkeakoulukirjastot ovatkin selvittäneet palveluidensa vaikuttavuutta yhdistelemällä tietoa tuotoksista eri lähteistä jo pitkään.

Suomen korkeakoulukirjastot ovat tallentaneet toimintatilastonsa Yhteistilastoon vuodesta 2002 lähtien, ja ammattikorkeakoulukirjastojen käyttäjäkysely on toteutettu säännöllisesti vuodesta 2004 lähtien. Keskeisiä työkaluja ovat olleet toimintaa kuvaavat määrälliset mittarit (tilastot) sekä asiakkaiden, erityisesti korkeakoulun opiskelijoiden ja henkilöstön, arvioinnit palvelukokemuksistaan.

Tuotoksista tuloksiin ja vaikuttavuuteen

Tuotosten, kuten toimivien verkkopalveluiden, laadukkaan lainatun ja käyttöön ladatun aineiston sekä tasokkaan tiedonhakuopastuksen, vaikutuksia on mahdollista arvioida ja päätellä vain suhteessa päämääriin. Eli siihen, mitä aiotaan saavuttaa ja millaisen haluaa vaikutuksen määriteltyihin kohderyhmiin olevan.

Viimeisimmässä ammattikorkeakoulukirjastojen käyttäjäkyselyssä vuonna 2020 kirjasto- ja tietopalveluiden vaikuttavuutta arvioitiin sellaisten väittämien avulla, jotka peilaavat ammattikorkeakoulun perustehtäviä ja tavoitteita. Vastaajat arvioivat väittämiä asteikolla 1–5 siten, että arvosana 5 tarkoitti, että toiminnalla on ollut paljon vaikutusta vastaajan toimintaan. Kyselyssä pyydettiin myös arvioimaan, mitä vaikutusta olisi sillä, jos korkeakoulussa ei olisi kirjasto- ja tietopalveluita.

Tulokset osoittavat, että kirjastolla on tärkeä rooli korkeakoulussa. Ilman kirjastoa ja sen tarjoamia palveluita opiskeluajat pitenisivät, valmistuminen hidastuisi ja opintosuoritusten laatu heikkenisi, myös opinnäytetöiden ja tutkimuksen teko vaikeutuisivat.

Kirjaston rooli osana ammattikorkeakoulun opetusta, oppimista ja tutkimusta onkin tulosten perusteella vahvistunut viime vuosina entisestään. Kirjastot ovat osanneet kohdistaa resurssinsa oikein – pitkälti asiakaskyselyiden ansiosta.

Kahdessa viimeisimmässä käyttäjäkyselyssä on haluttu testata uusia menetelmiä osana palveluiden vaikuttavuuden arviointia. Suositteluhalukkuusindeksin eli Net Promoter Score -arvon (NPS-arvon) avulla on haluttu selvittää asiakasuskollisuutta – suosittelisivatko vastaajat kirjastoa ja sen palveluita muille opiskelijoille ja kollegoille. Suositteletko-kysymyksen yhteyteen on liitetty myös avoin kysymys perusteluille, jotka puolestaan auttavat lisäämään ymmärrystä asiakaskokemuksesta. NPS-arvot ovat olleet erinomaisia.

Vaikuttavuuden arviointi seuraa toimintaympäristön muutoksia

Useana vuonna toteutettu ammattikorkeakoulukirjastojen käyttäjäkysely on mahdollistanut kirjastojen käyttötapojen kehitystrendien seuraamisen.

Käyttäjäkyselyssä samat peruselementit (aineistot, tilat, tiedonhankinnan opetus ja ohjaus sekä asiakaspalvelu) ovat pysyneet mukana vuodesta toiseen. Käyttäjäkyselyyn on kuulunut aina myös kuiluanalyysi, jonka avulla on selvitetty vastaajien kokeman tärkeyden ja onnistumisen välistä eroa eri palvelualueilla.

Käyttäjäkyselyissä on kuitenkin pidetty myös tärkeänä ottaa eri vuosina huomioon toimintaympäristössä tapahtuneet muutokset.

Kirjaston toiminnan painopisteet ovat muuttuneet ja myös tilastoinnille on uusia tarpeita. Yhtenä esimerkkinä voisi mainita avoimen tieteen ja tutkimuksen, erityisesti avoimen julkaisemisen vaikutukset aineistokustannuksiin ja aineiston käyttölukuihin. Toimintaympäristön muutos vaatii uudenlaisten vaikuttavuuden indikaattoreiden kehittämistä.

Korkeakoulukirjastot miettivät parhaillaan, mitä tilastoja ja tunnuslukuja toiminnan seuraamisessa ja kehittämisessä tarvitaan. Nämä tiedot tullaan jatkossakin keräämään ja julkaisemaan yhteisesti määritellyn formaatin mukaisesti. Tällä halutaan varmistaa tilastojen vertailukelpoisuus korkeakoulujen kesken.
Käyttäjäkysely on voimissaan ja sitä kehitetään proaktiivisesti yhdessä koko amk-kirjastokentän toimesta. Seuraava kysely toteutetaan syksyllä 2022, ja palveluiden vaikuttavuus on siinäkin keskiössä.