Heinäkuussa 2018 pidettiin Tukholmassa viides FATML-työpaja kansainvälisen koneoppimiskonferenssin yhteydessä (International Conference on Machine Learning, ICML2018).
FATML tulee sanoista Fair (reilu), Accountable (vastuullinen), Transparent (läpinäkyvä), Machine Learning (koneoppiminen), eli kyseessä on Reilu, Vastuullinen ja Läpinäkyvä Koneoppiminen (RVLK näin suomeksi).
Tiivistän tässä artikkelissa työpajan keskeiset kysymykset [1] suomen kielellä.
REILUUS
Kuinka määritellä, mitata ja käsitteellistä koulutusdataa koneoppimismalleille? Keskeisenä tavoitteena on suunnitella tiedonkeruumenetelmiä, jotka rajoittavat (mahdollisesti puolueellisten) ennustusten vaikutusta. Jatkokysymys: Miten voimme käyttää lisätietolähteitä mallin koulutukseen liityviä ongelmia? Juhanin (toinen algoritmitutkimuksen tutkija) kanssa olemme aiemmin määritelleet, että ”hyvä koneoppiminen on reilua koneoppimista”, liittyen koulutusdatan tasapainottamiseen (epätasapainoinen data on yksi keskeinen syy mallien mahdolliseen puolueellisuuteen).
Mitkä ovat mielekkäitä formaaleja oikeudenmukaisuuskriteerejä? Mitkä ovat niiden rajoitukset? Klassinen vastaus, kun kysytään ”Onko koneelle mahdollista opettaa moraalia” on: Kyllä, jos osaat määritellä moraalin matemaattisesti. Sanana koneoppiminen on harhaanjohtava, koska ihmiset mieltävät koneen oppimisen samanlaiseksi kuin ihmiset oppiminen, johon liittyy abstraktioiden, käsitteiden ja sosiaalisten suhteiden mieltämistä. Kone ei opi mitään tällaista, vaan se ainoastaan ratkaisee matemaattisia kaavoja.
Kone ei ole älykäs eikä se opi, vaan se laskee tehokkaammin kuin ihminen. Tällöin moraalin ratkaisemiseksi ongelma pitää asettaa matemaattiseen muotoon. Koska tässä ei vielä ainakaan toistaiseksi ole onnistuttu, toiseksi paras ratkaisu on rajoittaa koneen päätöksentekovaltaa — kriittisissä päätöksissä ihmisen pitää niinsanotusti ”painaa nappia”, koska päätöksentekoon liittyvät abstraktiot ovat koneelle vieraita. Tekoäly (tarkemmin: koneoppiminen) on siis enemmänkin päätöksenteon tukijärjestelmä (eng. Decision Support System) kuin itsenäinen päätöksentekijä.
Pitäisikö meidän johtaa oikeudenmukaisuuden määritelmät laista? Ovatko muodolliset oikeudenmukaisuuskriteerit yhteensopivia lain kanssa? Kuten oikean ja väärän kanssa, koneella ei myöskään ole minkäänlaista ymmärrystä laittomasta tai laillisesta toiminnasta, ellei sitä erikseen ohjelmoida. Eri maiden oikeusjärjestelmät eroavat merkittävästi toisistaan, mikä vaikeuttaa yleismaailmallisen järjestelmän kehittämistä. Lähinnä koneoppimista on kirjoitettujen lakien järjestelmät (eng. code law), jossa eri rikoksille on luotu suhteellisen tarkat määritelmät ja rangaistukset. Kuitenkin lakien soveltamiseen liittyy lähes aina keskeisenä osana tulkinta, ja on hankala kuvitella, että päätöksentekoa uskallettaisiin antaa koneelle.
Soveltaen aikaisempaa ajattelua päätöksentekojärjestelmästä, koneoppiminen voisi kuitenkin toimia oikeusjärjestelmän osana esimerkiksi niin, että se antaisi puolueettoman suosituksen koodatun todistusaineiston ja aikaisempien päätösten perusteella. Lakien soveltamisessa on havaittu puolueellisuutta, jota kone voisi paikata. Kuitenkin viime kädessä koneen päätöksentekoa ei voi pitää esimerkiksi rikoslain alaisena, sillä kone tai algoritmi ei ole oikeustoimikelpoinen. Sen sijaan oikeussubjektit, esimerkiksi algoritmeja kehittävät suuryritykset, ovat hyvinkin vastuussa teoistaan, ja niiden tuleekin kiinnittää huomiota algoritmisen päätöksenteon lainmukaisuuteen.
Kuinka voimme käyttää syy-seuraamusanalyysin keinoja koneoppimisen oikeudenmukaisuuden arviointiin? Voiko syy-seuraussuhde johtaa toimiviin suosituksiin ja toimenpiteisiin? Nämä kysymykset liittyvät keskeisesti koneoppimisen merkittävään rajoituksen – järkeilyn ja logiikan puutteeseen. Niinsanottu kausaalinen järkeily (eng. causal reasoning) ei edusta koneoppimisen valtavirtaa, vaikka viime aikoina tutkimus sitä kohtaan on jälleen kasvanut (järkeily nähtiin tekoälyn alkuvaiheen tutkimuksessa yhtenä kehityspolkuna, mutta se ei ole toistaiseksi realisoitunut toimiviin algoritmeihin). Syy-seuraussuhteet edellyttävät ymmärrystä maailmasta, jota tyypillisillä koneoppimismalleilla ei ole.
Voimmeko kehittää syrjinnän määritelmiä, jotka ylittävät datajakaumiin liittyvät rajoitukset, kuten väestörakenteen pariteetin tai voimajakaumat? Tämä kysymys liittyy aiemmin mainitsemaani datan tasapainottamiseen. Lääketieteen alalla koneoppimismalleja on sovellettu ehkä järkevimmin tässä suhteessa, sillä niissä populaation segmentointi on perinteisesti ollut tärkeää. On kehitetty keinoja arvioida tiettyjen piirteiden vaikutusta mallin antamiin ennustuksiin (esim. SHAP– ja LIME-menetelmät) sekä useita menetelmä tasapainottamiseen (esim. SMOTE, ADASYN), ja lisäksi mallin ennustuksia voi tarkastella luokkakohtaisesti. Kuitenkin juuri RVLK-kontekstissa näiden tekniikoiden sopeuttaminen ja soveltaminen on tärkeää, ja siitä on suhteellisen vähän käytännön esimerkkejä.
Kenen pitäisi päättää, mikä on oikeudenmukaista, jos oikeudenmukaisuus tulee koneoppimistavoitteeksi? Etenkin nykyisessä sosiaalisen median ”toksisessa” eli vihamielisessä ympäristössä jokainen ryhmä kokee olevansa oikeassa. Kysymyksenä on silloin, voimmeko määritellä universaalisti pätevät oikeudenmukaisuuden kriteerit, vai omaksummeko arvorelativismin? Jälkimmäisessä tapauksessa oikeudenmukaisuuden soveltamisesta tulee toisaalta haasteellisempaa, koska näkemykset siitä vaihtelevat, mutta toisaalta, mikäli löydämme päällekkäisyyttä eri arvokäsitysten välillä, sovellettavasta moraalikoodistosta saattaa tulla helpommin toteuttava.
Onko olemassa vaaraa oikeudenmukaisuuden alistamisessa laskennalliseksi ongelmaksi? Aiemmin mainitsin haasteet moraalin eksaktissa määrittelyssä, mutta on myös aiheellista pohtia koko tavoitteen järjellisyyttä. Mikäli kuvittelemme määrittelevämme koneoppimisen eettiset säännöt täydellisesti, saattaa se johtaa algoritmien vallan merkittävään lisäykseen. Jos olimmekin väärässä, olemme nyt antaneet vallan toimijalle, joka noudattaa virheellistä kaavaa.
Mitkä ovat algoritmisten kokeiden ja etsinnän yhteiskunnalliset vaikutukset? Miten voimme hallita haittapuolia, joita tällainen kokeilu voi aiheuttaa yksilöille? Niinsanotut sosiaaliset eksperimentit ovat tärkeitä, jotta algoritmien vaikutusta reaalimaailmaan voidaan mitata. Tunnettu esimerkki on tutkimus, jossa Facebook manipuloi käyttäjien uutisvirtaa näyttämällä negatiivisempia tai positiivisempia julkaisuja. Tämä tutkimus tehtiin vuonna 2014, eikä se nykyisessä ilmapiirissä välttämättä läpäisisi monenkaan yliopiston IBR-prosessia (Institutional Review Board). Kuitenkin tällaisia tutkimuksia, vaikka ne saattavat aiheuttaa mielipahaa tai muita väliaikaisia haittapuolia, tarvitaan algorimien ja käyttäjien välisen vuorovaikutuksen ymmärtämiseksi. Väittäisin, että kyseisenkaltaisia tutkimuksia tarvitaan paljon lisää, jotta voidaan puhkaista algoritmien kehittäjien omat sisäiset kuplat ja harhakuvitelmat käyttäjien käyttäytymisestä.
VASTUULLISUUS
Mitä ihmisen toteuttama arviointi sisältäisi, jos mallit olivat käytettävissä suoraan tarkastukseen? Tämä kysymys koskee koneoppimisen auditointia reiluuden varalta. Ei ole lainkaan selvää, mitkä ovat tällaisen analyysin ohjenuoria. Aiemmin olen tässä blogissa määritellyt, että koneoppimisen reiluuteen liittyvät haasteet saattavat johtua joko (a) niiden kehittäjien puolueellisista valinnoista, (b) algoritmin eli matemaattisen kaavan mallista, tai (c) epätasapainoisesta datasta. Käyttäen näitä seikkoja perusperiaatteena koneoppimisen reiluuden auditointi varmasti sisältäisi algoritmin lähdekoodin arviointia, sen kehittäjän antaman eettisen lausunnon (”ethical statement”) läpikäynnin sekä algoritmin testiajon epätasapainoisella datalla, joka olisi synteettisesti tuotettu puolueellisuuksien paljastamiseksi. Toistaiseksi tällainen arviointi on vasta visio, sillä alalla ei ole vakiintuneita standardeja tai käytäntöjä sen toteuttamiseen.
Voimmeko todistaa, että algoritmi käyttäytyy jollakin tavalla ilman algoritmin paljastamista? Voimmeko saavuttaa vastuullisuutta ilman avoimuutta? Nämä kysymykset ovat kriittisiä yritysten näkökulmasta. Yrityspuolen algoritmit ovat tyypillisesti liikesalaisuuksia, joita ei haluta paljastaa koko maailmalle. Niiden tekemien päätösten tai suositusten eettinen tarkastelu on kuitenkin tärkeää. Eräänä vaihtoehtona on luoda julkisia tai kolmannen sektorin toimijoita, jotka salassapitosopimuksia noudattaen auditoivat algoritmisia päätöksentekojärjestelmiä.
Kuinka pystymme tekemään luotettavia empiirisiä mustan laatikon analyysimenetelmiä? Tämä kysymys voi olla edessä, vaikka lähdekoodiin olisikin pääsy. Etenkin neuroverkkojen tulkinta on monimutkaista, sillä niiden päätösten tarkka jäljittäminen on lähes mahdotonta. On kuitenkin kehitetty erinäisiä keinoja, jotka pyrkivät tähän mm. visualisoimalla neuroverkon tasojen aktivointeja, arvioimalla neuronipainojen tilastollisia suhteita, tai muuttamalla ei-lineaaristen algoritmien antamat tulokset lineaarisen mallin muotoon, jonka tulkitseminen on triviaalia.
LÄPINÄKYVYYS
Miten voimme kehittää tulkittavia koneen oppimismenetelmiä, jotka tarjoavat tapoja hallita mallin monimutkaisuutta ja / tai tuottaa mielekkäitä selityksiä? Selitettävyys on yksi keskeinen tutkimuskohde algoritmisessa päätöksenteossa tällä hetkellä. Järjestelmiin koitetaan luoda käyttöliittymiä, jotka tarjoavat lisätietoa esimerkiksi siitä, miksi kyseinen mainos on näytetty juuri tietylle käyttäjälle. Keskeistä näissä malleissa on käyttökokemus – tapa esittää selitykset käyttöä hankaloittamatta, pitämällä niiden yksinkertaisuus oikealla tasolla, ja valitsemalla tietoa joka vastaa käyttäjän informaatiotarpeisiin ovat osa-alueita, jotka vaihtelevat sovelluksittain ja täten vaativat empiiristä testaamista.
Voimmeko käyttää synteettista dataa oppiaksemme algoritmien sisäisestä toiminnasta? Voimmeko oppia tavoista, joilla ne epäonnistuvat reunatapauksissa? Ensimmäinen kysymys liittyy standardiaineistojen luomiseen, joilla koneoppimismalleja voitaisiin testata. Käytännössä näitä ei juuri löydy, paria poikkeusta lukuunottamatta. Koska käytännössä muuttujat eli koneoppimismallin piirteet vaihtelevat sovellusalueittain, pitäisi olla työkalu, jonka avulla voitaisiin helposti luoda epätasapainoisia datasettejä algoritmien testaamiseen eri konteksteissa. Toinen kysymys liittyy mallien kouluttamiseen silloin, kun ne epäonnistuvat eli antavat epäreiluja suosituksia. Käytännössä pitäisi pystyä osoittamaan virheet syöttämällä uutta dataa vahvistetun oppimisen (eng. reinforcement learning) muodossa. Selkeä analogia tässä on tapa, jolla lapsi oppii oikean ja väärän: väärän tekemisestä seuraa rangaistus.
Kuinka voimme käyttää peliteoriaa ja koneen oppimista rakentaaksemme läpinäkyviä, mutta kestäviä malleja, joissa käytetään palkkioita ja kustannuksia toiminnan seurauksista? Edellä mainitun vahvistetun oppimisen lisäksi rankaisun ja kannustinten vaikutusta on matemaattisesti mallinnettu peliteorian saralla jo vuosikymmeniä. Peliteoriassa agentit eli päätöksentekijät tekevät päätöksiä, joiden tulokset (eng. payoffs) määrittävät strategisen optimin. Väärällä päätöksellä on siis kustannus. Tämä analogia toimii hyvin, koska myös koneoppimismallit toimivat minimoidakseen ”kustannuksen”, joka on tyypillisesti ennustuksiin liittyvä tarkkuusvirhe.
Alaviite:
[1] 5th Workshop on Fairness, Accountability, and Transparency in Machine Learning (FAT/ML 2018)
https://www.fatml.org/schedule/2018/page/call-for-papers-2018
Algoritmien valta - Neutraalius ja puolueellisuus koneellisessa päätöksenteossa 