Kelan viisi haastetta koneoppimisessa

Katsoin YouTube-videon Machine Learning for Kela, jossa Kelan Ari Vähä-Erkkilä kertoo Alexander Jungin opettaman koneoppimiskurssin opiskelijoille Kelan koneoppimisprojekteista. Tiivistän tässä blogiartikkelissa keskeiset haasteet algoritmisessa päätöksenteossa Kelan kannalta.

Kelan viisi koneoppimishaastetta

HAASTE 1: Tarkkuuden vaatimus on suuri: jokaisen numeron takana on ihminen, siksi varaa virheisiin ei ole (ja on annettava valitusmahdollisuus, jonka käsittelee ihminen). Tyypillisesti mikään algoritmi ei kuitenkaan anna 100% tarkkuutta. Voi tapahtua kahdentyyppisiä virheitä: vääriä positiivisia ja vääriä negatiivisia, eli malli antaa myönteisen tukipäätöksen vaikka ei pitäisi antaa, tai malli antaa kielteisen päätöksen, vaikka tuki olisi pitänyt myöntää. Tarkkuuden ongelma on suurin este tukipäätösten automaatiossa.

RATKAISU: Pitää olla ”ihminen luupissa” (eng. human in the loop), eli mahdollista päätöksestä valittaminen ja sen käsittely Kelan asiantuntijan toimesta. Tämä on tärkeää, koska lain soveltamiseen voi liittyä tulkintaa, ja kaikki Kelan päätökset perustuvat lakiin.

HAASTE 2: Lait eivät ole yhteensopivia koodin kanssa.

RATKAISU: Tukia koskevat lait pitäisi kirjoittaa eri tavalla, niin että niissä huomioidaan siirtäminen koneoppimisjärjestelmiin (laki ==> koodi).

HAASTE 3: Lait muuttuvat, jolloin malli joka toimii vanhalla lailla ei välttämättä toimi uudella järjestelmällä. Koneoppiminen toimii tässä ympäristössä huonommin kuin sääntöpohjainen päätöksenteko.

RATKAISU: Sovella sääntöpohjaisia malleja, ei koneoppimista.

HAASTE 4: Tietojärjestelmät eivät ole täysin kitkattomasti yhteydessä — esim. oppilaitoksilta saadaan tieto hyväksytyistä opiskelijoista, mutta kaikilla edunsaajilla ei ole pankkitiliä, joten maksatusta ei voida automatisoida.

RATKAISU A: Sovella manuaalisia prosesseja silloin kun ei voida automatisoida.

RATKAISU B: Julkisten API-rajapintojen kehittäminen.

HAASTE 5: Väärinkäyttö. Automaattisesta päätöksenteosta (kuten manuaalisestakin) voi löytyä virheitä, joita ihmiset hyväksikäyttävät saadakseen aiheettomia tukia. Esimerkiksi jos päätöksen saa heti koneelta, tuenhakijat voivat negatiivisen päätöksen saadessaan alkaa kokeilla eri arvoja saadakseen positiivisen päätöksen koneelta.

RATKAISU: Valvo väärinkäytöksiä automaattisesti ja manuaalisesti.

Muita haasteita

Muita Arin mainitsemia haasteita ovat:

  • kymmenien erilaisten mallien hallinta ja testaaminen
  • datan hallinta, niin että se on kätevästi eri mallien käytössä
  • koneoppimisen ja sääntöpohjaisten mallien yhdistäminen,
  • mahdollinen puolueellisuus ihmisten ja koneiden toimesta
  • suomen kielen erityisluonteisuus (parhaat mallit ovat englannin kielelle)
  • henkilökohtaisen datan arkaluonteisuus ja sen tuomat rajoitukset partnerien hyödyntämiseen
  • ja organisaation muutosjohtaminen (uudet roolit ja koneoppimista tukevat toimintatavat pitää luoda).

Johtopäätös

Vaikka automaattinen päätöksenteko saattaa vaikuttaa helpolta vaihtoehdolta Kelalle (”annetaan tekoälyn hoitaa”), ongelmat ovat käytännön yksityiskohdissa. Pienet kitkatekijät tekevät täydellisen automaation Kelan käyttöön mahdottomaksi.

Paras ratkaisu on soveltaa automaatiota kahdella tavalla: (a) Kelan työntekijöiden ongelmien ratkaisuun eli työprosessien tukemiseksi ja (b) tarkoin rajattujen teknisten ongelmien ratkaisuun (esim. paperihakemusten muuttaminen automaattisesti tekstiksi, jolloin kenttien tiedot voidaan automaattisesti syöttää tietokantaan).

Automaattinen päätöksenteko ei ole riskitöntä, joten varasuunnitelmia ja valvontaa tarvitaan. Päätöksiin voi myös liittyä tulkintaa, jota kone ei missään tapauksessa voi tehdä. Tämän vuoksi tukien käsittelijöitä ei voi korvata algoritmilla.

Koneppimisteknologiat, joista Kela voi hyötyä:

Mielestäni etenkin seuraavat teknologia voivat olla hyödyllisiä:

  • syväoppiminen (eng. deep learning) — tekstintunnistus, chatbot-järjestelmät
  • päätöspuupohjaiset mallit (esim. RandomForest), koska nämä antavat tulkinnan jokaiselle päätökselle

Kuten Kelan analyysi osoittaa, koneoppiminen ei ole ratkaisu päätöksenteon täydelliseen automatisointiin. Sen sijaan se voi olla hyödyllinen työkalu osaprosessien tehostamiseen.

Googlen toimintaperiaatteet eettisille algoritmeille

Googlen toimitusjohtaja Sundar Pichai kirjoitti kesäkuussa 2018 blogipostauksen Googlen eettisistä algoritmiperiaatteista. Tiivistän tässä sen ydinkohdat suomeksi.

Googlen tavoitteet tekoälysovelluksille

Kehittäessään tekoälysovelluksia Google pyrkii ottamaan huomioon seuraavat tavoitteet.

1. Ole sosiaalisesti hyödyllinen.

Uusi teknologia koskettaa yhä enemmän yhteiskuntaa kokonaisuutena. Tekoälyteknologian vaikutust tuntuu monilla eri aloilla, esimerkkeinä terveydenhuolto, turvallisuus, energia, kuljetus, teollisuus ja viihde. Googlen näkemys on, että kokonaishyödyt näillä aloilla ylittävät huomattavasti ennakoitavissa olevat riskit ja haitat. Google pyrkii tekemään laadukkaan ja täsmällisen tiedon saataville samalla kunnioitaen eri maiden kulttuurisia, sosiaalisia ja oikeudellisia normeja.

2. Vältä epäreilun puolueellisuuden luontia tai vahvistamista.

AI-algoritmit ja data voivat heijastaa, vahvistaa tai vähentää kohtuuttomia ennakkoluuloja. Google pyrkii välttämään epäoikeudenmukaisia ​​vaikutuksia ihmisiin, erityisesti liittyen arkaluonteisiin ominaisuuksiin, kuten rotuun, etniseen alkuperään, sukupuoleen, kansalaisuuteen, tuloihin, seksuaaliseen suuntautumiseen, ja poliittiseen tai uskonnolliseen vakaumukseen.

3. Rakenna ja testaa turvallisuutta.

Google kehittää ja soveltaa vahvoja turvallisuus- ja turvallisuuskäytäntöjä, jotta vältytään tahattomilta vahingoilta AI-sovelluksissa. Google suunnittelee tekoälyjärjestelmät uusimman turvallisuustutkimuksen parhaiden käytäntöjen mukaisesti. Tarvittaessa AI-tekniikoita testataan kontrolloiduissa ympäristöissä ja niiden toimintaa seurataan käyttöönoton jälkeen.

4. Ole vastuullinen ihmisille.

Google suunnittelee AI-järjestelmiä, jotka tarjoavat käyttäjille mahdollisuuden antaa palautetta, nähdä algoritmin valintoihin liittyviä selityksiä ja valittaa mahdollisista epäkohdista. Googlen AI-teknologia on ihmiskeskeistä ja antaa ihmisille mahdollisuuden vaikuttaa.

5. Sisällytä tietosuojasuunnitteluperiaatteet.

Google yhdistää tietosuojaperiaatteet AI-teknologioiden kehittämiseen ja käyttöön. Käyttäjiä tiedotetaan heidän tietojensa käytöstä ja siihen pyydetään suostumus. Lisäksi Google kehittää yksityisyyden suojaa tukevia ohjelmistoarkkitehtuureja, jotka tukevat avoimuuden periaatetta ja mahdollistavat tiedon käytön valvonnan.

6. Ylläpidä korkeatasoista tieteellistä huippuosaamista.

Teknologinen innovaatio perustuu tieteelliseen menetelmään ja avoimen tutkimuksen sekä yhteistyön periaatteisiin. AI-työkalujen avulla on mahdollista kehittää tieteellistä tutkimusta kriittisillä aloilla, kuten biologia, kemia, lääketiede ja ympäristötieteet. Google pyrkii investoimaan korkeatasoiseen tieteelliseen huippuosaamiseen.

Lisäksi Google tekee yhteistyötä eri sidosryhmien kanssa tukeakseen huippututkimusta ja kehittääkseen tieteellisesti päteviä ​​lähestymistapoja. Google lisää tekoälytietoisuutta julkaisemalla opetusmateriaaleja, parhaita käytäntöjä ja tutkimustietoa, joiden avulla eri toimijat voivat kehittää hyödyllisiä AI-sovelluksia.

7. Käyttötarkoituksia, jotka noudattavat näitä periaatteita.

Monilla tekniikoilla on useita käyttötarkoituksia. Tekoälysovellusten kehittämisessä on tärkeää mieltää ja ymmärtää sen mahdolliset käyttötarkoitukset, mukaanlukien mahdollinen väärinkäyttö. Kehittäessään tekoälysovelluksia Google pyrkii arvioimaan haitallisen käytön riskiä seuraavien kriteereiden pohjalta:

  • Ensisijainen tarkoitus ja käyttö: mikä on teknologian tai sovelluksen ensisijainen tarkoitus ja todennäköinen käyttö? Miten se soveltuu mahdolliseen haitalliseen käyttöön?
  • Ainutlaatuisuus: onko kehitetty teknologia ainutlaatuinen tai yleisesti saatavilla? Onko sen jakelua mahdollista rajoittaa?
  • Mittakaava: onko kehitetyllä teknologialla mahdollisesti kriittinen vaikutus? Millä tavalla?
  • Googlen osallistumisen luonne: tarjoaako Google yleiskäyttöisiä työkaluja, integrointeja vai mukautettuja ratkaisuja?

Musta lista

Google ei aio kehittää teknologioita, jotka täyttävät seuraavat tuntomerkit:

  • Teknologiat, jotka aiheuttavat tai todennäköisesti aiheuttavat yleistä haittaa. Jos on olemassa merkittäviä haittoja, Google tekee kehitystyötä ainoastaan mikäli odotetut hyödyt ovat huomattavasti suurempia kuin riskit.
  • Aseet tai muut teknologiat, joiden pääasiallinen tarkoitus on aiheuttaa ihmisten loukkaantuminen tai vahingoittaminen.
  • Teknologiat, jotka keräävät tai käyttävät tietoa tavalla, joka rikkoo kansainvälisesti hyväksyttyjä normeja.
  • Teknologiat, joiden tarkoitus on ristiriidassa kansainvälisen oikeuden ja ihmisoikeuksien periaatteiden kanssa.

Vaikka Google ei kehitä tekoälyä aseellisiin tarkoituksiin, se tekee yhteistyötä hallitusten ja armeijan kanssa monilla muilla aloilla. Näihin kuuluvat kyberrikollisuus, koulutus, sotilasrekrytointi, veteraanien terveydenhuolto ja pelastustoimi.

Tekoälyn vaikutusten huomiointi pitkällä aikavälillä

Googlen tavoitteena on olla mukana algoritmien eettisyyttä edistävässä toiminnassa pitkällä aikavälillä. AI-teknologioiden kehittyessä Google pyrkii tekemään poikkitieteellistä yhteistyötä eri sidosryhmien kanssa tukeakseen eettisten periaatteiden huomioimista tekoälyteknologian kehityksessä ja soveltamisessa. Liiketoimintanäkökulmasta Google on valmis tekemään lyhyen tähtäimen kompromisseja toimiakseen eettisten arvojen mukaisesti.

Algoritmipaniikki

Yhteiskuntakeskustelua algoritmeista on paikoin ahdistavaa seurata.

Ihmiset, jotka eivät ymmärrä algoritmeista, antavat niille supervoimia. Media tekee parhaansa lietsoakseen algoritmipelkoa.

Kyllä, on totta että algoritmien käytössä on riskejä. Mutta hyvin usein algoritmeja pidetään syntipukkeina ihmisten toimille.

Esimerkkikommentti eräästä Amazonin rekrytointialgoritmin havaittuja ja väitettyjä puutteita koskevasta LinkedIn-keskustelusta: ”Vaikka data jollain ihmeen kaupalla heijastelisikin 100% tasa-arvosta tilannetta (ei realistista), kyllä lopputuloksen saa vielä algoritmeilla pilattua!”

Kommentti sisältää väärää tietoa — koska algoritmi on yhtä hyvä kuin sinne syötetty data — mutta kuvastaa hyvin valloillaan olevasta ”paha algoritmi” -mentaliteetista.

Toinen esimerkki on Yhdysvaltain viimekertainen vaalitulos: on olemassa yleinen myytti siitä, että Cambridge Analytica -yhtiön ”algoritmit” saivat ihmiset maagisesti äänestämään tahtoaan vastaan. Kuvaavia tästä harha-ajattelusta ovat tämänkaltaiset väitteet: ”Facebook let Trump use AI to win the 2016 election”, joita poliittisesti puolueelliset toimittavat lietsovat.

Sami Kuusela jakoi oheisen pilakuvan Facebookissa. Mielestäni tämä tiivistää hyvin algoritmipaniikin luonteen.

algoritmipaniikki

Mistä algoritmipaniikki sitten johtuu?

Tunnistan algoritmipaniikkiin kolme syytä:

  • Pelko tuntemattomasta — kautta historian, ihmiset ovat pelänneet sitä mitä eivät ymmärrä. Suurin syy algoritmipaniikkiin on puutteellinen ymmärrys niiden toiminnasta. Kun ei tiedetä kuinka algoritmit toimivat, niille on helppo keksiä supervoimia. Mutta mitä enemmän tunnet algoritmeja, sitä enemmän ymmärrät niiden puutteet. Ne ovat erehtyväisiä ennustuksissaan, täysin riippuvaisia annetusta datasta, eivätkä järkeile, sovella tai millään lailla toimi itsenäisesti rajatun tehtävän ulkopuolella. Algoritmit eivät ole tekoälyä, ne ovat teknisiä reseptejä.
  • Pelko syrjäytymisestä — kuten luddiitit aikoinaan, nykyajan tietotyöläiset pelkäävät enenevissä määrin syrjäytymistä työmarkkinoilta algoritmien toimesta. Tämä on toinen myytti, jonka taloustieteilijät ja historia aikanaan, tulee osoittamaan vääräksi. Talous muuttuu ja uusia työtehtäviä syntyy korvaamaan vanhat, pääasiassa koska ihmisten tarpeet ja halut ovat rajattomia. Kuitenkin on fakta, että automaatio korvaa tiettyjä työtehtäviä ja väistämättä tämä johtaa tietynlaiseen antipatiaan koneita kohtaan: ”tyhmä kone vei mun työn”.
  • Antropomorfismi — jos termi ei ole tuttu, se tarkoittaa inhimillisten ominaisuuksien liittämistä eläimiin, elottomiin esineisiin tai kuvitteellisiin kohteisiin (lähde). Algoritmien tapauksessa niihin liitetään tahtotiloja ja motiiveja, kuten valta, päätöksenteko, tietoisuus… Algoritmeihin projisoidaan ihmispiirteitä ja niitä syytetään ikään kuin ne olisivat elollisia olentoja. Algoritmi ei kuitenkaan ole elävä olio, toimija tai päätöksentekijä. Se on vain kasa tekstiä, resepti joka toteuttaa mitä ihminen haluaa (usein vajavaisesti, koska sille annetut käskyt ovat vajavaisia).

Johtopäätös

Hyvässä ja pahassa, algoritmeille ei saa antaa liikaa valtaa. Niitä ei saa syyttää asioista, joissa ihminen on vastuussa. Niitä ei myöskään saa ylentää erehtymättömiksi jumalolennoiksi. Algoritmi on — yhä edelleen — resepti, ei itse lääke.

Reilua koneoppimista: Keskeisiä kysymyksiä algoritmisen päätöksenteon eettisestä ulottuvuudesta

Heinäkuussa 2018 pidettiin Tukholmassa viides FATML-työpaja kansainvälisen koneoppimiskonferenssin yhteydessä (International Conference on Machine Learning, ICML2018).

FATML tulee sanoista Fair (reilu), Accountable (vastuullinen), Transparent (läpinäkyvä), Machine Learning (koneoppiminen), eli kyseessä on Reilu, Vastuullinen ja Läpinäkyvä Koneoppiminen (RVLK näin suomeksi).

Tiivistän tässä artikkelissa työpajan keskeiset kysymykset [1] suomen kielellä.

REILUUS

Kuinka määritellä, mitata ja käsitteellistä koulutusdataa koneoppimismalleille? Keskeisenä tavoitteena on suunnitella tiedonkeruumenetelmiä, jotka rajoittavat (mahdollisesti puolueellisten) ennustusten vaikutusta. Jatkokysymys: Miten voimme käyttää lisätietolähteitä mallin koulutukseen liityviä ongelmia? Juhanin (toinen algoritmitutkimuksen tutkija) kanssa olemme aiemmin määritelleet, että ”hyvä koneoppiminen on reilua koneoppimista”, liittyen koulutusdatan tasapainottamiseen (epätasapainoinen data on yksi keskeinen syy mallien mahdolliseen puolueellisuuteen).

Mitkä ovat mielekkäitä formaaleja oikeudenmukaisuuskriteerejä? Mitkä ovat niiden rajoitukset? Klassinen vastaus, kun kysytään ”Onko koneelle mahdollista opettaa moraalia” on: Kyllä, jos osaat määritellä moraalin matemaattisesti. Sanana koneoppiminen on harhaanjohtava, koska ihmiset mieltävät koneen oppimisen samanlaiseksi kuin ihmiset oppiminen, johon liittyy abstraktioiden, käsitteiden ja sosiaalisten suhteiden mieltämistä. Kone ei opi mitään tällaista, vaan se ainoastaan ratkaisee matemaattisia kaavoja.

Kone ei ole älykäs eikä se opi, vaan se laskee tehokkaammin kuin ihminen. Tällöin moraalin ratkaisemiseksi ongelma pitää asettaa matemaattiseen muotoon. Koska tässä ei vielä ainakaan toistaiseksi ole onnistuttu, toiseksi paras ratkaisu on rajoittaa koneen päätöksentekovaltaa — kriittisissä päätöksissä ihmisen pitää niinsanotusti ”painaa nappia”, koska päätöksentekoon liittyvät abstraktiot ovat koneelle vieraita. Tekoäly (tarkemmin: koneoppiminen) on siis enemmänkin päätöksenteon tukijärjestelmä (eng. Decision Support System) kuin itsenäinen päätöksentekijä.

Pitäisikö meidän johtaa oikeudenmukaisuuden määritelmät laista? Ovatko muodolliset oikeudenmukaisuuskriteerit yhteensopivia lain kanssa? Kuten oikean ja väärän kanssa, koneella ei myöskään ole minkäänlaista ymmärrystä laittomasta tai laillisesta toiminnasta, ellei sitä erikseen ohjelmoida. Eri maiden oikeusjärjestelmät eroavat merkittävästi toisistaan, mikä vaikeuttaa yleismaailmallisen järjestelmän kehittämistä. Lähinnä koneoppimista on kirjoitettujen lakien järjestelmät (eng. code law), jossa eri rikoksille on luotu suhteellisen tarkat määritelmät ja rangaistukset. Kuitenkin lakien soveltamiseen liittyy lähes aina keskeisenä osana tulkinta, ja on hankala kuvitella, että päätöksentekoa uskallettaisiin antaa koneelle.

Soveltaen aikaisempaa ajattelua päätöksentekojärjestelmästä, koneoppiminen voisi kuitenkin toimia oikeusjärjestelmän osana esimerkiksi niin, että se antaisi puolueettoman suosituksen koodatun todistusaineiston ja aikaisempien päätösten perusteella. Lakien soveltamisessa on havaittu puolueellisuutta, jota kone voisi paikata. Kuitenkin viime kädessä koneen päätöksentekoa ei voi pitää esimerkiksi rikoslain alaisena, sillä kone tai algoritmi ei ole oikeustoimikelpoinen. Sen sijaan oikeussubjektit, esimerkiksi algoritmeja kehittävät suuryritykset, ovat hyvinkin vastuussa teoistaan, ja niiden tuleekin kiinnittää huomiota algoritmisen päätöksenteon lainmukaisuuteen.

Kuinka voimme käyttää syy-seuraamusanalyysin keinoja koneoppimisen oikeudenmukaisuuden arviointiin? Voiko syy-seuraussuhde johtaa toimiviin suosituksiin ja toimenpiteisiin? Nämä kysymykset liittyvät keskeisesti koneoppimisen merkittävään rajoituksen – järkeilyn ja logiikan puutteeseen. Niinsanottu kausaalinen järkeily (eng. causal reasoning) ei edusta koneoppimisen valtavirtaa, vaikka viime aikoina tutkimus sitä kohtaan on jälleen kasvanut (järkeily nähtiin tekoälyn alkuvaiheen tutkimuksessa yhtenä kehityspolkuna, mutta se ei ole toistaiseksi realisoitunut toimiviin algoritmeihin). Syy-seuraussuhteet edellyttävät ymmärrystä maailmasta, jota tyypillisillä koneoppimismalleilla ei ole.

Voimmeko kehittää syrjinnän määritelmiä, jotka ylittävät datajakaumiin liittyvät rajoitukset, kuten väestörakenteen pariteetin tai voimajakaumat? Tämä kysymys liittyy aiemmin mainitsemaani datan tasapainottamiseen. Lääketieteen alalla koneoppimismalleja on sovellettu ehkä järkevimmin tässä suhteessa, sillä niissä populaation segmentointi on perinteisesti ollut tärkeää. On kehitetty keinoja arvioida tiettyjen piirteiden vaikutusta mallin antamiin ennustuksiin (esim. SHAP– ja LIME-menetelmät) sekä useita menetelmä tasapainottamiseen (esim. SMOTE, ADASYN), ja lisäksi mallin ennustuksia voi tarkastella luokkakohtaisesti. Kuitenkin juuri RVLK-kontekstissa näiden tekniikoiden sopeuttaminen ja soveltaminen on tärkeää, ja siitä on suhteellisen vähän käytännön esimerkkejä.

Kenen pitäisi päättää, mikä on oikeudenmukaista, jos oikeudenmukaisuus tulee koneoppimistavoitteeksi? Etenkin nykyisessä sosiaalisen median ”toksisessa” eli vihamielisessä ympäristössä jokainen ryhmä kokee olevansa oikeassa. Kysymyksenä on silloin, voimmeko määritellä universaalisti pätevät oikeudenmukaisuuden kriteerit, vai omaksummeko arvorelativismin? Jälkimmäisessä tapauksessa oikeudenmukaisuuden soveltamisesta tulee toisaalta haasteellisempaa, koska näkemykset siitä vaihtelevat, mutta toisaalta, mikäli löydämme päällekkäisyyttä eri arvokäsitysten välillä, sovellettavasta moraalikoodistosta saattaa tulla helpommin toteuttava.

Onko olemassa vaaraa oikeudenmukaisuuden alistamisessa laskennalliseksi ongelmaksi? Aiemmin mainitsin haasteet moraalin eksaktissa määrittelyssä, mutta on myös aiheellista pohtia koko tavoitteen järjellisyyttä. Mikäli kuvittelemme määrittelevämme koneoppimisen eettiset säännöt täydellisesti, saattaa se johtaa algoritmien vallan merkittävään lisäykseen. Jos olimmekin väärässä, olemme nyt antaneet vallan toimijalle, joka noudattaa virheellistä kaavaa.

Mitkä ovat algoritmisten kokeiden ja etsinnän yhteiskunnalliset vaikutukset? Miten voimme hallita haittapuolia, joita tällainen kokeilu voi aiheuttaa yksilöille? Niinsanotut sosiaaliset eksperimentit ovat tärkeitä, jotta algoritmien vaikutusta reaalimaailmaan voidaan mitata. Tunnettu esimerkki on tutkimus, jossa Facebook manipuloi käyttäjien uutisvirtaa näyttämällä negatiivisempia tai positiivisempia julkaisuja. Tämä tutkimus tehtiin vuonna 2014, eikä se nykyisessä ilmapiirissä välttämättä läpäisisi monenkaan yliopiston IBR-prosessia (Institutional Review Board). Kuitenkin tällaisia tutkimuksia, vaikka ne saattavat aiheuttaa mielipahaa tai muita väliaikaisia haittapuolia, tarvitaan algorimien ja käyttäjien välisen vuorovaikutuksen ymmärtämiseksi. Väittäisin, että kyseisenkaltaisia tutkimuksia tarvitaan paljon lisää, jotta voidaan puhkaista algoritmien kehittäjien omat sisäiset kuplat ja harhakuvitelmat käyttäjien käyttäytymisestä.

VASTUULLISUUS

Mitä ihmisen toteuttama arviointi sisältäisi, jos mallit olivat käytettävissä suoraan tarkastukseen? Tämä kysymys koskee koneoppimisen auditointia reiluuden varalta. Ei ole lainkaan selvää, mitkä ovat tällaisen analyysin ohjenuoria. Aiemmin olen tässä blogissa määritellyt, että koneoppimisen reiluuteen liittyvät haasteet saattavat johtua joko (a) niiden kehittäjien puolueellisista valinnoista, (b) algoritmin eli matemaattisen kaavan mallista, tai (c) epätasapainoisesta datasta. Käyttäen näitä seikkoja perusperiaatteena koneoppimisen reiluuden auditointi varmasti sisältäisi algoritmin lähdekoodin arviointia, sen kehittäjän antaman eettisen lausunnon (”ethical statement”) läpikäynnin sekä algoritmin testiajon epätasapainoisella datalla, joka olisi synteettisesti tuotettu puolueellisuuksien paljastamiseksi. Toistaiseksi tällainen arviointi on vasta visio, sillä alalla ei ole vakiintuneita standardeja tai käytäntöjä sen toteuttamiseen.

Voimmeko todistaa, että algoritmi käyttäytyy jollakin tavalla ilman algoritmin paljastamista? Voimmeko saavuttaa vastuullisuutta ilman avoimuutta? Nämä kysymykset ovat kriittisiä yritysten näkökulmasta. Yrityspuolen algoritmit ovat tyypillisesti liikesalaisuuksia, joita ei haluta paljastaa koko maailmalle. Niiden tekemien päätösten tai suositusten eettinen tarkastelu on kuitenkin tärkeää. Eräänä vaihtoehtona on luoda julkisia tai kolmannen sektorin toimijoita, jotka salassapitosopimuksia noudattaen auditoivat algoritmisia päätöksentekojärjestelmiä.

Kuinka pystymme tekemään luotettavia empiirisiä mustan laatikon analyysimenetelmiä? Tämä kysymys voi olla edessä, vaikka lähdekoodiin olisikin pääsy. Etenkin neuroverkkojen tulkinta on monimutkaista, sillä niiden päätösten tarkka jäljittäminen on lähes mahdotonta. On kuitenkin kehitetty erinäisiä keinoja, jotka pyrkivät tähän mm. visualisoimalla neuroverkon tasojen aktivointeja, arvioimalla neuronipainojen tilastollisia suhteita, tai muuttamalla ei-lineaaristen algoritmien antamat tulokset lineaarisen mallin muotoon, jonka tulkitseminen on triviaalia.

LÄPINÄKYVYYS

Miten voimme kehittää tulkittavia koneen oppimismenetelmiä, jotka tarjoavat tapoja hallita mallin monimutkaisuutta ja / tai tuottaa mielekkäitä selityksiä? Selitettävyys on yksi keskeinen tutkimuskohde algoritmisessa päätöksenteossa tällä hetkellä. Järjestelmiin koitetaan luoda käyttöliittymiä, jotka tarjoavat lisätietoa esimerkiksi siitä, miksi kyseinen mainos on näytetty juuri tietylle käyttäjälle. Keskeistä näissä malleissa on käyttökokemus – tapa esittää selitykset käyttöä hankaloittamatta, pitämällä niiden yksinkertaisuus oikealla tasolla, ja valitsemalla tietoa joka vastaa käyttäjän informaatiotarpeisiin ovat osa-alueita, jotka vaihtelevat sovelluksittain ja täten vaativat empiiristä testaamista.

Voimmeko käyttää synteettista dataa oppiaksemme algoritmien sisäisestä toiminnasta? Voimmeko oppia tavoista, joilla ne epäonnistuvat reunatapauksissa? Ensimmäinen kysymys liittyy standardiaineistojen luomiseen, joilla koneoppimismalleja voitaisiin testata. Käytännössä näitä ei juuri löydy, paria poikkeusta lukuunottamatta. Koska käytännössä muuttujat eli koneoppimismallin piirteet vaihtelevat sovellusalueittain, pitäisi olla työkalu, jonka avulla voitaisiin helposti luoda epätasapainoisia datasettejä algoritmien testaamiseen eri konteksteissa. Toinen kysymys liittyy mallien kouluttamiseen silloin, kun ne epäonnistuvat eli antavat epäreiluja suosituksia. Käytännössä pitäisi pystyä osoittamaan virheet syöttämällä uutta dataa vahvistetun oppimisen (eng. reinforcement learning) muodossa. Selkeä analogia tässä on tapa, jolla lapsi oppii oikean ja väärän: väärän tekemisestä seuraa rangaistus.

Kuinka voimme käyttää peliteoriaa ja koneen oppimista rakentaaksemme läpinäkyviä, mutta kestäviä malleja, joissa käytetään palkkioita ja kustannuksia toiminnan seurauksista? Edellä mainitun vahvistetun oppimisen lisäksi rankaisun ja kannustinten vaikutusta on matemaattisesti mallinnettu peliteorian saralla jo vuosikymmeniä. Peliteoriassa agentit eli päätöksentekijät tekevät päätöksiä, joiden tulokset (eng. payoffs) määrittävät strategisen optimin. Väärällä päätöksellä on siis kustannus. Tämä analogia toimii hyvin, koska myös koneoppimismallit toimivat minimoidakseen ”kustannuksen”, joka on tyypillisesti ennustuksiin liittyvä tarkkuusvirhe.

Alaviite:

[1] 5th Workshop on Fairness, Accountability, and Transparency in Machine Learning (FAT/ML 2018)
https://www.fatml.org/schedule/2018/page/call-for-papers-2018

Mikä on klikkiotsikko?

Mikä on klikkiotsikko?

Lyhykäisyydessään klikkiotsikko tai klikkiansa (eng. clickbait) viittaa otsikkoon sekä siihen liittyvään verkkosisältöön, joka on harhaanjohtava ja houkuttelee klikkaamaan. Klikkiotsikon tarkoituksena on usein kerryttää klikkausten avulla mainostuloja. Periaatteena on, että mitä enemmän klikkejä, sitä enemmän mainostuloja.

Miksi klikkiotsikot toimivat?

Klikkiotsikko herättää tyypillisesti mielenkiinnon vetoamalla tunteisiin. Tavallisesti ihmiset klikkaavat negatiivisesti sävyttyneisiin otsikoihin enemmän kuin positiivisiin. Tämän ovat myös klikkiotsikoiden tekijät huomanneet, ja siksi monesti otsikot vaikuttavat tunnetasolla lähinnä kielteisellä tavalla. Klikkiotsikoiden tärkein missio on siis herättää tunteita ja saada klikkaamaan.

Kuinka tunnistaa klikkotsikko?

Klikkiotsikon tunnistaa tyypillisesti sensaatiohakuisesta tyylistä. Usein otsikko viestii jostakin hätkähdyttävästä ja rajoja rikkovasta asiasta, joka ilmeisesti olisi syytä tietää. Monesti lukija kuitenkin pettyy, kun lupauksia tarjonnut otsikko ei johdakaan mihinkään elämää mullistavaan tietoon. Sen sijaan otsikon takaa löytyvä verkkosisältö voi olla täysin päinvastaista kuin otsikon väittämä. Otsikkoon klikkaaminen johtaa esimerkiksi uutisartikkeliin, joka sisältää syvällisen tiedon sijaan lukemista häiritseviä mainoksia taikka muuta sisältöä kuin otsikossa on luvattu. Todellista informaatioarvoa ei välttämättä ole lainkaan.

Klikkiotsikot luovat epäluottamusta

Klikkiotsikoita saatetaan klikata jonkun aikaa, mutta ennemmin tai myöhemmin ihmiset eivät luota enää tiedonlähteeseen. Pettyminen laaduttomaan ja harhaanjohtavaan sisältöön johtaa lopulta siihen, ettei otsikoita edes klikata. Informaatioalustoille, kuten Google ja Facebook, klikkiotsikot edustavat siis riskiä käyttäjien huomion menettämisestä. Tämän vuoksi esimerkiksi Facebook on leikannut klikkiotsikoilta vaikuttavan sisällön näkyvyyttä.

Kohti parempaa uutisointia

Klikkiotsikot ovat herättäneet paljon keskustelua ja Suomessakin on niiden pohjalta perustettu klikkijournalismin vähentämiseksi esimerkiksi Klikinsäästäjä (https://klikinsaastaja.fi/).

On Social Media Sampling

In social media sampling, there are many issues. Two of them are: 1) the silent majority problem and 2) the grouping problem.

The former refers to the imbalance between participants and spectators: can we trust that the vocal few represent the views of all?

The latter means that people of similar opinions tend to flock together, meaning that looking at one online community or even social media platform we can get a biased understanding of the whole population.

Solving these problems is hard, and requires understanding of the online communities, their polarity, sociology and psychology driving the participation, and the functional principles of the algorithms that determine visibility and participation in the platforms.

Prior knowledge on the online communities can be used as a basis for stratified sampling that can be a partial remedy.

Web 3.0: The dark side of social media

Web 2.0 was about all the pretty, shiny things about social media, like user-generated content, blogs, customer participation, ”everyone has a voice,” etc. Now, Web 3.0 is all about the dark side: algorithmic bias, filter bubbles, group polarization, flame wars, cyberbullying, etc. We discovered that maybe everyone should not have a voice, after all. Or at least that voice should be used with more attention to what you are saying.

While it is tempting to blame Facebook, media, or ”technology” for all this (just as it is easy to praise it for the other things), the truth is that individuals should accept more responsibility of their own behavior. Technology provides platforms for communication and information, but it does not generate communication and information; people do.

In consequence, I’m very skeptical about technological solutions to the Web 3.0 problems; they seem not to be technological problems but social ones, requiring primarily social solutions and secondly hybrid solutions. We should start respecting the opinions of others, get educated about different views, and learn how to debate based on facts and finding fundamental differences, not resorting to argumentation errors. Here, machines have only limited power – it’s up to us to re-learn these things and keep teaching them to new generations. It’s quite pitiful that even though our technology is 1000x better than in Ancient Greek, our ability to debate properly is one tenth of what it was 2000 years ago.

Avoiding the enslavement of machines requires going back to the basics of humanity.