Pilotointi ja testaus

Käyttäjätestauksen tulokset: Miksi Alfons jätti kilpailijat varjoonsa?

Rami Lappalainen

Käyttäjätestaus on tärkeä osa sovelluskehitystä. Sen avulla voidaan varmistaa, että sovellus on helppokäyttöinen ja vastaa käyttäjien tarpeisiin. Testauksen avulla saadaan arvokasta palautetta todellisilta käyttäjiltä, jonka perusteella voidaan ratkaista mahdollisia käytettävyysongelmia, virheitä ja epäloogisuuksia ennen julkaisua.

Käyttäjätestauksessa mukana kolme oppimisympäristöä

Alfons Educationin toteuttamia järjestelmiä on käytetty laajasti Suomessa, ja olemme saaneet erityisesti niiden käytettävyydestä hyviä arvioita. Halusimme kuitenkin tehdä syvempää vertailua suhteessa muiden järjestelmätoimittajien alustoihin.

Maailman käytetyin oppimisympäristö lienee Moodle, joka on avoimen lähdekoodin oppimisympäristö ja erityisesti korkeakoulujen suosiossa. Siksi valitsimme Moodlen yhdeksi vertailtavaksi alustaksi. Googlen Workspace for Education eli Classroom oli myös päivänselvä valinta, samoin kuin Microsoft Teams for Education. Valitettavasti oppilaitoksille suunnattu Teams-versio ei ollut saatavilla, joten jouduimme jättämään sen pois vertailusta tältä erää.

Olemme aiemmin tehneet testausyhteistyötä Turun yliopiston kasvatustieteen ainejärjestö Katko ry:n kanssa, ja ehdotimme heille livenä tapahtuvaa käyttäjätestausta opiskelijoiden kanssa. Katko ryhtyi ilomielin ja kiinnostuneena yhteistyöhön kanssamme jälleen.

Testauksen tavoitteiksi asetimme käyttöönoton helppouden, käytettävyyden sekä tyypillisten opettajakäyttäjän toimintojen sujuvuuden ilman käyttökoulutusta tai ennakkotutustumista.

Katkon opiskelijoilla ei ollut aiempaa kokemusta opettajakäyttäjänä toimimisesta millään digitaalisella alustalla. Heillä oli kuitenkin opiskelijakokemusta Moodlesta ja Classroomista, mutta Alfons oli heille täysin tuntematon. Tämä muodosti lähtökohtaisesti hieman puolueellisen asetelman.

Testauksen toteutus

Testaus järjestettiin läsnätapaamisena Alfons Educationin toimitiloissa Helsingin Sörnäisissä. Testiryhmä jaettiin kahteen osaan, ja molemmilla ryhmillä oli kaksi valvojaa, joiden tehtävänä oli havainnoida ja kellottaa kunkin testitehtävän suorittamiseen kuluva aika. Tehtävät ohjeistettiin kullekin testaajalle paperilla, eikä lisätietoa tai ohjeita annettu. Halusimme simuloida tilannetta, jossa opettaja ottaa alustan käyttöön täysin itsenäisesti aloittaakseen opetuksen.

Testauksen valvojat tarkkailivat hiiren liikkeitä käyttöliittymässä havaitakseen mahdollisia käytettävyysongelmia. Tyypillisin ongelma kaikissa sovelluksissa oli se, ettei käyttäjä löytänyt helposti seuraavaa valintaa. Lisäksi valvojat mittasivat tehtäviin kuluvan ajan.

Testitulokset

Olimme aluksi jännittyneitä siitä, miten käyttäjät reagoivat täysin uuteen järjestelmään, kun heillä oli kuitenkin kokemusta Moodlesta ja Classroomista opiskelijan roolissa. Tulokset olivat kuitenkin positiivisia: kaikki käyttäjät löysivät tarvittavat toiminnot Alfonsista vaivatta.

Classroom koettiin melko helppokäyttöiseksi, mutta tietyissä perustoiminnoissa, kuten kuvan lisäämisessä ja asetuksissa, käyttö ei ollut kovin intuitiivista. Ajankäytöllisesti testitehtävät suoritettiin Classroomissa suhteellisen nopeasti.

Moodlen tulokset olivat varsin odotettuja. On yleisesti tiedossa, että Moodlea pidetään vanhentuneena ja vaikeakäyttöisenä järjestelmänä. Lähes kaikissa tehtävissä käyttäjillä oli suuria vaikeuksia löytää oikeat toiminnot ja ymmärtää niiden käyttöä. Joissakin tapauksissa testi jouduttiin keskeyttämään 10 minuutin maksimiajan täyttyessä.

Alfons koettiin ylivoimaisesti helppokäyttöisimmäksi alustaksi. Käyttö oli lähes kaikissa tehtävissä intuitiivista, ja käyttäjät löysivät tarvittavat toiminnot heti.

Tulosten yhteenveto

Yhteenlasketuissa tuloksissa Alfonsilla testaajat pystyivät suorittamaan tehtävät yli kaksi kertaa nopeammin verrattuna Google Classroomiin (Alfons 47 % nopeampi kuin Google Classroom). Moodlessa tehtävien suorittaminen oli hyvin hankalaa, ja osa tehtävistä jouduttiin keskeyttämään, mikä osoittaa Moodlen olevan erittäin vaikeasti omaksuttava oppimisympäristö.

On luonnollista, että järjestelmän käyttäminen tulee käyttäjälle helpommaksi ajan myötä, mutta se ei tarkoita, että järjestelmä olisi käytettävyydeltään nykyaikaisten vaatimusten mukainen. Tässä testauksessa keskityimme erityisesti näiden järjestelmien intuitiivisuuteen ja helppoon käyttöönottoon. Tulokset olivat selkeitä ja vahvistivat luottamustamme siihen, että olemme tehneet oikeita ratkaisuja Alfonsin suunnittelussa.

Järjestelmän käytön nopeus tarkoittaa opettajalle sujuvampaa ja vähemmän kuormittavaa työarkea, kun aikaa ei kulu käyttöliittymän tai toimintojen etsimiseen, vaan opettaja voi keskittyä opetuksen suunnitteluun ja toteutukseen. Tämä parantaa oppilaiden oppimiskokemusta ja vähentää opettajan stressiä. Työnantajana toimivalle koululle ja kaupungille järjestelmän nopeus ja helppokäyttöisyys merkitsevät tehokkaampaa resurssien käyttöä, sillä vähemmän aikaa kuluu koulutukseen ja tekniseen tukeen. Samalla käyttöönotto ja käyttöön liittyvät kustannukset pienenevät, mikä mahdollistaa paremman panostamisen muihin koulutuksen kehittämiskohteisiin.