Kokemuksia EuroSTAR 2019 -konferenssista: Minnan matka – Tekoälyyn tutustumassa

Kokemuksia EuroSTAR 2019 -konferenssista: Minnan matka – Tekoälyyn tutustumassa

Mikä ihmeen EuroSTAR?

EuroSTAR Testauskonferenssi on vuosittain jossakin Euroopan kaupungissa järjestettävä konferenssi. Tänä vuonna se pidettiin Prahassa 11.-15.11.2019. Paikalla oli reilusti yli 1000 lipun hankkinutta osallistujaa, ja lisäksi monia luennoitsijoita, esillepanijoita ja Euro Star -organisaation vapaaehtoisia. Konferenssi on 4-päiväinen. Toki siihen voi osallistua lyhyemmänkin ajan. Itse osallistuin toista kertaa, tällä kertaa kolmena päivänä.

Nimestään huolimatta konferenssi ei ole pelkästään eurooppalainen. Osallistujia on kaikkialta maailmasta. Tänä vuonna tapasin monia brasilialaisia. Jossain näin maininnan chileläisten tapaamisesta. Konffan some-sovelluksen mukaan jonkun kotimatka oli kestänyt 21h (4 eri lentoa). Konferenssin kansainvälisyys tekee vaikutuksen, samoin avoin ja innostunut ilmapiiri. Siellä, niin kuin usein Comiqin omalla toimistolla, tulee mieleen, että meissä testaajissa on jotain erityistä.

Konferenssi jakautuu tutorial- ja luento-osioihin. Aiempina vuosina tutoriaaleja on ollut ensimmäisena päivänä eli maanantaina koko päivän tutoriaalit, ja toisena päivänä tiistaina aamupäivän noin kolmen tunnin tutoriaalit. Tänä vuonna muinakin päivinä oli mahdollisuus osallistua muutaman tunnin tutoriaaleihin esitelmien sijaan. Muutos oli mielestäni erinomainen parannus. Sen lisäksi, että asian oppiminen on tutoriaaleissa tehokkaampaa (koska niissä joutuu aina tekemään ryhmätöitä, eli myös käyttämään aivojaan ja työstämään asiaa), mutta myös sen vuoksi, että niissä tutustuu ihmisiin todella helposti. Usein keskustelu aiheesta jatkuu vielä tauoillakin. Parin päivän jälkeen uusia konferenssi-tuttuja voi olla kymmeniä – tai ainakin pari kolme, vaikka olisi normaalin suomalaisen luonteenlaadun omaava ihminen.
Luentoja on tiistai-iltapäivästä torstai-iltapäivään klo 16. Luentoja on useammassa eri trackissa eri aihealueiden tiimoilta. Tämän vuoden ohjelman voi vilkaista tästä: https://conference.eurostarsoftwaretesting.com/conference/programme/2019/ Lisäksi kaikille yhteisiä key noteja on 2 – 3 kertaa päivässä. Aamulla, lounaan jälkeen ja iltapäivällä konferenssin lopuksi.

Tekoäly ja testaus

Itseäni kiinnosti eniten tekoälyä käyttävien systeemien testaus ja tekoälyä käyttävät testaustyökalut. Jälkimmäisestä ei osunut kohdalle yhtään luentoa. Kokonaisuudessaan tekoäly, ja kaikki siihen viittaava, oli nyt enemmän esillä kuin viime vuonna. Hämmentävän vähän luennoissa oli vieläkin konkretiaa. Viime vuonna osallistuin Rik Marselisin tutoriaaliin “Testing Intelligent Machines”. Tänä vuonna konkreettisimmat testaukseen liittyvät asiat löytyivät Laurent Bouhier:in esitelmästä My AI Was Wrong!”.

Puolen tunnin esitelmässä käytiin läpi mm. näitä aiheita:

  • mitä on AI, erilaisia koneoppimisen muotoja, menetelmiä ja tasoja (AI, machine learning, deep learning)
  • kuinka testata AI:ta (Huom. Suurin osa alla olevaa on pitkälle jatkoa tälle alaotsikolle)
  • AI:n suurin ongelma eli ‘bias’, vääristymä. (Huom! Tällä hetkellä semmoiseksi huomattu, ja vähän joka paikassa esiinnostettu)
  • kuinka huijata tekoälyä (tästä esimerkkeinä etenkin kuvan ja kasvojen tunnistuksen virheet ja tahalliset huiputtamiset)
  • kuinka tietää tekoälyä testatessa, mikä on odotettu lopputulos?
  • metamorphic tests menetelmä ja learning models validation (näistä ei enempää ainakaan nyt – ei mennyt tuossa ajassa lähellekään omaa syväoppimiskeskustani)
  • AI testaus strategia
  • AI testauksessa tarvittavia taitoja

Sekä

  • AI:n käyttö testauksessa
  • “AI assisted test management solution” malli tai esimerkki
  • kysymys ‘voiko tekoäly korvata testaajan’? (Tähän hän oli laskenut vastauksen: todennäköisyys, että tekoäly korvaisi testausinsinöörin, on 0,6%. Mutta: pelkkää perinteistä manuaalista testausta tekevällä testaajalla on suuri riski tulla korvatuksi tekoälyllä)

Ja lopuksi yhteenveto, jonka kopioin tähän nyt kokonaan:
Testing an AI requires special skills:
• Agile Tester
• Mathematician and data analyst

Do not be afraid of AI:
• Using AI to test will become mandatory to keep pace
• The job of tester is one of those who at least is at risk of being replaced by AI
• Take advantage of the help that AI brings and automation to make the real job of the tester

Tuo kaikki siis reilussa puolessa tunnissa, sillä 45 min luennoista viimeinen kymmenen minuuttia oli varattu kysymyksille. Itse en muista osanneeni kysyä mitään tuon luennon jälkeen, enkä myöskään muista, mitä muut kysyivät. Luennossa oli monta sivua, joista jo yksinään voisi pitää ainakin päivän tutoriaalin. Tai viikon, tai miten pitkän vain… Pää surisi ja muisti loppui kesken. Laitoin tutoriaali-toiveen esityksen palautteeseen.

Tämän lisäksi osallistuin ke iltapäivänä 2 x 45min kestävään Dr. Chris McKillopin pitämään tutoriaaliin “Reframing Software Testing in the Light of AI”. Tutoriaali käsitteli tekoälyyn, ja etenkin kuvalliseen tunnistamiseen liittyviä ongelmia, tekoäly-sovellusten vaikutusta ihmisten elämään, ja niissä olevien virheiden mahdollisia seurauksia. Ongelmallisia asioita mm. luotettavuus (accuracy), yksityisyys, tasa-arvo vs. epätasa-arvo, ja vääristymä (bias) niin datassa kuin tuloksissakin. Kuvatunnistusta käsiteltiin aika paljon. Sitä käytetään paljon, ja sillä on helppo havainnollistaa asioita käytännössä.
Ryhmätyötehtävissä pohdimme, kuinka tekoälyyn pohjautuvaa sovellusta voisi testata, ja toisaalta, mitkä ovat ihmisen vahvuudet ja heikkoudet testaajina vs. tekoäly. Tutoriaali oli hyvin suosittu, eikä ohjaaja ehkä ollut niin kokenut tutoriaalin vetäjä, kuin jotkut muut. Ryhmätyötehtävissä ryhmät olivat tosi suuria. (Näköjään niin käy, jos vetäjä ei huomaa mainita, monenko hengen ryhmiä pitäisi muodostaa). Luultavasti sen vuoksi käteen jäi vähemmän konkreettista asiaa ja ideoita, kuin mitä olisi voinut toivoa.

Tekoälyn ongelmat ja vaarat

Mutta niistä tekoälyn ongelmista ja vaaroista! Niistä puhuttiin paljon, myös parissa key notesissa (Pitäjinä Chris McKillop ja Fiona Charles). Ja hyvä että puhutaan. Yksi suurista ongelmista on tietynlaisen epätasa-arvon tai vääristymän periytyminen datan mukana oppivaan algoritmiin. Jos jokin väestönosa on heikomman asemansa vuoksi aliedustettuna jossain datassa, oppiva algoritmi olettaa että näin ikään kuin kuuluukin olla. Tuoreena tunnettuna esimerkkinä tästä tekoäly-sovelluksen kuvitelma, että mustaihoiset ihmiset olisivat USA:ssa terveempiä. Kuvitelma juonsi juurensa siitä, että mustaihoisten on USA:ssa vaikeampi päästä lääkäriin, ja etenkin erikoissairaanhoitoon. Kasvojen tunnistuksen virheet taas voivat pahimmassa tapauksessa koitua ihmiselle jopa kohtalokkaiksi. Tässäkin valkoiset ovat etuoikeutettuja: sovellukset mm. erehtyivät useammin pitämään mustaihoista naista miehenä, kuin valkoihoista naista. Kuvitelkaapa mitä käytännössä voi tarkoittaa, jos kasvojen tunnistusta tekevän mahdollisten terroristien tunnistamissovelluksen tarkkuus on huikeat 86%. Ts. 14% arvioista menee pieleen.
(Havainnollistettuna: 100000 ihmisen tarkistuksessa on 14000 väärää tunnistusta. Jos 100000 joukossa on 100 terroristia, näistä 14 todennäköisesti livahtaa tunnistamatta.
Miten muuten suhtautuisit maksujen välityssovellukseen, jonka osumatarkkuus olisi 86%?)

Yksi suuri ongelma on algoritmien toiminnan läpinäkymättömyys. Oppivia algoritmeja ei velvoiteta kertomaan, mihin ne tulkintansa perustavat. Jotta käyttäjillä ja kehittäjillä säilyisi jonkinlainen kontrolli sovellusten toimintaan, algoritmin pitäisi kertoa miksi se päätyy valitsemaan niin kuin valitsee. Eikä pelkästään kertomaan eli logittamaan tietoa, mutta myös riittävän kattavasti ja tavalla, jonka ainakin kehittäjä pystyy ymmärtämään.

Chris McKillop mainitsi yhtenä materiaalina esitelmäänsä https://ethicsinaction.ieee.org/ eli “The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems”.
Tekoäly-sovelluksia syytetään ja pelätään paljon – eikä vika välttämättä aina ole sovelluksessa. Kukapa meistä ei joskus syyllistyisi tahattomaan tiedon vääristelyyn ja vääriin johtopäätöksiin epämääräisen tiedon perusteella. Kannattaa vilkaista huima https://commons.wikimedia.org/wiki/File:The_Cognitive_Bias_Codex_-_180%2B_biases,_designed_by_John_Manoogian_III_(jm3).png , eli jäsennelmä siitä, millä kaikilla tavoilla me ihmiset tuppaamme vääristämään tulkintojamme asioista meille sopiviksi.

Muut kokemukset

Näiden lisäksi kävin kuuntelemassa muutamia hyviä luentoja, ja kolmessa muussa tutoriaalissa.

Tiistaina aamupäivällä kävin Rik Marselisin tutoriaalissa “PCT – eli Process Cycle Test” – tekniikka. Tekniikka auttaa jäsentämään prosesseja vuokaavion avulla pienempiin palasiin eli polkuihin, tarkoituksena löytää tapa testata sovellus mahdollisimman kattavasti mahdollisimman pienellä määrällä testejä. Menetelmää voi käyttää mm. testauskattavuuden todentamiseen silloin kun sen täytyy olla 100%, tai regressiotestauksen suunnitteluun. Menetelmä sopisi myös automaattitestien jäsentämiseen ja suunnitteluun.

Keskiviikkoaamupäivän otin huvin kannalta. Menin tutoriaaliin “Storytelling for Testers: a Crash Course”. Siinä tutoriaalissa taisin olla ainut suomalainen, mikä ei yllättänyt minua yhtään. Sisäinen tarinankertojani pääsi vauhtiin, kun yritin keksiä itselleni selitystä, miksi testaaja tarvitsee moista. Mutta vakavasti puhuen: kukapa ei tarvitsisi tarinankertojan taitoja. Jos ei osaa ilmaista asiaansa ytimekkäästi ja mielenkiintoisesti, kukaan ei kuuntele sinua, eikä ainakaan muista, mitä sanoit. Draaman dynamiikan tunteminen auttaa keskittymään oleelliseen ja jäsentämään kerrottavansa niin, että oleellinen juttu on tarinan mielenkiintoisin asia.

(Hyvä lukija. Tässä vaiheessa saatat olla pitkästynyt. Onneksi olkoon, jos jaksoit tänne asti. Yllä oleva teksti on luettelomainen sepustus vailla draaman huippukohtaa. Oliko tutoriaali liian lyhyt, vai jäivätkö minulta harjoitukset tekemättä?)

Kokonaisuutena voin suositella EuroSTAR testauskonferenssia kenelle tahansa, joka on jollain lailla testauksessa mukana. Esitelmien ja tutoriaalien aiheet ovat monipuolisia ja yleinen tunnelma innostunut. Monille tuntuu olevan herättävää kokea kuuluvansa testaus-yhteisöön – koska edelleen päivittäisessä työssään testaaja voi tuntea itsensä yksinäiseksi sudeksi, tai vähintään tiimin poikkeusyksilöksi.  Konferenssissa saa hyvän yleiskäsityksen, mitä alalla on meneillään, ja paljon uusia ideoita omaan työhönsä ja uuden oppimiseen.
Konferenssi on tietenkin kallis. Käytännössä hyvissä ajoin ostetut liput saa halvemmalla. Vuosittain on kuulemma myös joitain mahdollisuuksia voittaa ilmaislippuja.

Vaihtoehtoja on toki muitakin: https://testingconferences.org/ löytyy lista suunnilleen kaikista maailman testauskonferensseista. Lähempänä Suomea on mm. vuosittain pidettävä Nordic Testing days.

-Minna Turunen