Kelan viisi haastetta koneoppimisessa

Katsoin YouTube-videon Machine Learning for Kela, jossa Kelan Ari Vähä-Erkkilä kertoo Alexander Jungin opettaman koneoppimiskurssin opiskelijoille Kelan koneoppimisprojekteista. Tiivistän tässä blogiartikkelissa keskeiset haasteet algoritmisessa päätöksenteossa Kelan kannalta.

Kelan viisi koneoppimishaastetta

HAASTE 1: Tarkkuuden vaatimus on suuri: jokaisen numeron takana on ihminen, siksi varaa virheisiin ei ole (ja on annettava valitusmahdollisuus, jonka käsittelee ihminen). Tyypillisesti mikään algoritmi ei kuitenkaan anna 100% tarkkuutta. Voi tapahtua kahdentyyppisiä virheitä: vääriä positiivisia ja vääriä negatiivisia, eli malli antaa myönteisen tukipäätöksen vaikka ei pitäisi antaa, tai malli antaa kielteisen päätöksen, vaikka tuki olisi pitänyt myöntää. Tarkkuuden ongelma on suurin este tukipäätösten automaatiossa.

RATKAISU: Pitää olla ”ihminen luupissa” (eng. human in the loop), eli mahdollista päätöksestä valittaminen ja sen käsittely Kelan asiantuntijan toimesta. Tämä on tärkeää, koska lain soveltamiseen voi liittyä tulkintaa, ja kaikki Kelan päätökset perustuvat lakiin.

HAASTE 2: Lait eivät ole yhteensopivia koodin kanssa.

RATKAISU: Tukia koskevat lait pitäisi kirjoittaa eri tavalla, niin että niissä huomioidaan siirtäminen koneoppimisjärjestelmiin (laki ==> koodi).

HAASTE 3: Lait muuttuvat, jolloin malli joka toimii vanhalla lailla ei välttämättä toimi uudella järjestelmällä. Koneoppiminen toimii tässä ympäristössä huonommin kuin sääntöpohjainen päätöksenteko.

RATKAISU: Sovella sääntöpohjaisia malleja, ei koneoppimista.

HAASTE 4: Tietojärjestelmät eivät ole täysin kitkattomasti yhteydessä — esim. oppilaitoksilta saadaan tieto hyväksytyistä opiskelijoista, mutta kaikilla edunsaajilla ei ole pankkitiliä, joten maksatusta ei voida automatisoida.

RATKAISU A: Sovella manuaalisia prosesseja silloin kun ei voida automatisoida.

RATKAISU B: Julkisten API-rajapintojen kehittäminen.

HAASTE 5: Väärinkäyttö. Automaattisesta päätöksenteosta (kuten manuaalisestakin) voi löytyä virheitä, joita ihmiset hyväksikäyttävät saadakseen aiheettomia tukia. Esimerkiksi jos päätöksen saa heti koneelta, tuenhakijat voivat negatiivisen päätöksen saadessaan alkaa kokeilla eri arvoja saadakseen positiivisen päätöksen koneelta.

RATKAISU: Valvo väärinkäytöksiä automaattisesti ja manuaalisesti.

Muita haasteita

Muita Arin mainitsemia haasteita ovat:

• kymmenien erilaisten mallien hallinta ja testaaminen
• datan hallinta, niin että se on kätevästi eri mallien käytössä
• koneoppimisen ja sääntöpohjaisten mallien yhdistäminen,
• mahdollinen puolueellisuus ihmisten ja koneiden toimesta
• suomen kielen erityisluonteisuus (parhaat mallit ovat englannin kielelle)
• henkilökohtaisen datan arkaluonteisuus ja sen tuomat rajoitukset partnerien hyödyntämiseen
• ja organisaation muutosjohtaminen (uudet roolit ja koneoppimista tukevat toimintatavat pitää luoda).

Johtopäätös

Vaikka automaattinen päätöksenteko saattaa vaikuttaa helpolta vaihtoehdolta Kelalle (”annetaan tekoälyn hoitaa”), ongelmat ovat käytännön yksityiskohdissa. Pienet kitkatekijät tekevät täydellisen automaation Kelan käyttöön mahdottomaksi.

Paras ratkaisu on soveltaa automaatiota kahdella tavalla: (a) Kelan työntekijöiden ongelmien ratkaisuun eli työprosessien tukemiseksi ja (b) tarkoin rajattujen teknisten ongelmien ratkaisuun (esim. paperihakemusten muuttaminen automaattisesti tekstiksi, jolloin kenttien tiedot voidaan automaattisesti syöttää tietokantaan).

Automaattinen päätöksenteko ei ole riskitöntä, joten varasuunnitelmia ja valvontaa tarvitaan. Päätöksiin voi myös liittyä tulkintaa, jota kone ei missään tapauksessa voi tehdä. Tämän vuoksi tukien käsittelijöitä ei voi korvata algoritmilla.

Koneppimisteknologiat, joista Kela voi hyötyä:

Mielestäni etenkin seuraavat teknologia voivat olla hyödyllisiä:

• syväoppiminen (eng. deep learning) — tekstintunnistus, chatbot-järjestelmät
• päätöspuupohjaiset mallit (esim. RandomForest), koska nämä antavat tulkinnan jokaiselle päätökselle

Kuten Kelan analyysi osoittaa, koneoppiminen ei ole ratkaisu päätöksenteon täydelliseen automatisointiin. Sen sijaan se voi olla hyödyllinen työkalu osaprosessien tehostamiseen.