Ihmisen ja koneen välinen yhteisöllinen oppiminen

Vadim Tschernezki, Moin Nabi ja Tassilo Klein (ML Research Berlin)

Olemme siirtyneet uuteen aikakauteen, jossa koemme tasaista ja voimakasta laskentatehon, tallennuksen ja suurien tietojen saatavuuden parantamista. Syväoppiminen on osoittautunut ihanteelliseksi tekniikaksi näiden suuntausten hyödyntämiseksi, ja se on muodostunut käytännössä standardiksi ohjatussa oppimisessa. Tämäntyyppinen oppiminen edellyttää kuitenkin tietojen merkitsemistä, mikä aiheuttaa yleensä huomattavia kustannuksia tiedonkeruussa. Siksi syntyy vaihtoehtoisia paradigmoja, jotka antavat mahdollisuuden maksimoida valtavien tietomäärien potentiaali uudella ja erillisellä tavalla. Tässä blogiviestissä esittelemme konseptin, jossa yhdistyvät ihmisten ja koneiden vahvuudet yhteistyössä. Mutta ennen kuin tutustumme yksityiskohtiin, aloitetaan tarinalla, joka osoittaa tämän lähestymistavan edut.

Vuonna 1997 supertietokone (Deep Blue) voitti Garry Kasparovin shakkipelissä turnausmääräysten mukaisesti. Se oli tunnusomainen tapahtuma, jossa hallitseva maailman shakkimestari voitettiin koneella. Kasparov oli vielä toipumassa tästä kokemuksesta, mutta hän inspiroi myös Deep Blue -tapahtumaa. Hän kysyi itseltään: "Entä jos voin pelata tietokonetta vastaan ​​- toisella tietokoneellani, joka on puolellani - yhdistämällä vahvuutemme, inhimillinen intuitio ja koneen laskenta, ihmisen strategia, konetaktiikka, ihmisen kokemus, koneen muisti?"

Kasparovin idea ihmisen ja koneen yhteistyöstä shakissa toteutettiin menestyksekkäästi vuonna 2005 tietokoneavusteisessa online-shakkiturnauksessa, jossa suurmestarit ryhtyivät supertietokoneiden kanssa. Tulos oli melko odottamaton: voittajat olivat pari amatööri-amerikkalaista shakkipelaajaa, jotka käyttivät kolmea tavallista PC: tä samanaikaisesti. Näennäisesti tässä tapauksessa pelaajien taito ohjata tietokoneita oli erittäin tärkeä rooli. Tämä herättää kysymyksen siitä, voidaanko tällaista yhteistyötä käyttää myös muihin tehtäviin. Seuraavat kohdat valaisevat esiin nousevia lähestymistapoja tässä yhteydessä.

Lähestymistavat ja suuntaukset

Koneet työtovereina, ei vain työkaluina

Kun verrataan ihmisiä ja koneita, on selvää, että molemmilla puolilla on erittäin ainutlaatuiset ominaisuudet ja vahvuudet. Ihmiset ovat hienoja tehdä intuitiivisia ja luovia päätöksiä tietonsa pohjalta. Tietokoneet kykenevät käsittelemään valtavia määriä tietoja tuottamaan tiivistettyä merkityksellistä tietoa uuden tiedon saamiseksi ja parempien päätösten tekemiseksi. Näiden erottuvien vahvuuksien synergian hyödyntäminen näyttää olevan luonnollinen seuraava askel.

Tutkimuksessa sellaisia ​​yhdistelmiä on tutkittu perusteellisemmin viime vuosina, ja ne ovat vähitellen lisääntyneet. Yhden lähestymistavan ehdottivat Mintz et ai. leimaamattoman datan hyödyntäminen suhteiden poimintamallien parantamiseksi etävalvonnan avulla. Erityisesti he hyödyntävät ihmisen kehittämää tietokantaa heuristisen merkintätoiminnon suunnittelussa ja sisällyttämisessä luokittelijan koulutusmenettelyyn. Luokittelulaite pystyy sitten purkamaan tarkkuuskuviot kohtuullisen suuren määrän suhteita varten. Koska tutkijat suunnittelevat merkintätoiminnon, joka lähestyy ihmisen kommentoijan merkinnän käyttäytymistä, se tekee valvonnasta "etäisen".

Toinen tekniikka, jonka ovat kehittäneet Wang et ai. parantaa tietokonenäköalalla esineiden havaitsemista leimaamattomista kuvista itsevalvotun näytteen kaivostoiminnan avulla. Tärkeä osa tätä menetelmää perustuu luotettavien alueiden ehdotusten automaattiseen löytämiseen ja näennäistämiseen etätunnistimen parantamiseksi. Tämä saavutetaan liittämällä nämä ehdotukset erilaisiin merkittyihin kuviin niiden johdonmukaisuusarvojen kattavaa arviointia varten erilaisissa kuvaympäristöissä. Vaikka nämä kuvat on pseudomerkitty, ne auttavat parantamaan havaitsemisen tarkkuutta ja kestävyyttä meluisia näytteitä vastaan. Lopulta molemmat kuvatut lähestymistavat merkitsevät leimaamattoman tiedon automaattisesti ja vähentävät siten ihmisen valvonnan määrää koulutusprosessissa.

Inhimillisen ohjauksen sisällyttäminen aktiiviseen oppimiseen

Verrattuna aikaisempaan konseptiin, jossa tietojoukkoa laajennetaan koneellisesti merkittyjen tietojen avulla, voimme myös antaa oppijan valita vaikeita näytteitä ja pyytää ihmisopettajaa merkitsemään ne, tästä syystä nimi aktiivinen oppiminen. Menetelmä osoittautuu erittäin tehokkaaksi, etenkin tilanteissa, joissa näytteiden kouluttamiseen on rajoitetusti budjettivaraa - asiantuntijat voivat keskittyä haastaviin tapauksiin, kun kone ottaa suurimman osan näytteistä, jotka on yleensä helppo ratkaista.

Selittääksesi aktiivisen oppimisen takana olevaa intuitiota, harkitse yksinkertaista tehtävää merkitä koirien kuvat rotujen suhteen. Aloitamme perustietoaineistolla, joka sisältää merkittyjä kuvia koirista. Tämä tietojoukko voi asettaa haasteen koulutukselle useilla tavoilla: Se voi yleensä sisältää kuvia koiria kohti kameraa kohti, mikä tekee koulutetusta mallista muuttumattoman sivulta näytettäville koirille. Se voi sisältää myös epätasapainoisen määrän näytteitä jokaisesta rodusta. Tai se voi sisältää samankaltaisia ​​roduja, kuten belgialainen malinois ja saksalainen paimenkoira. Tällaisissa tapauksissa sekä ihmiset että koneet tarvitsevat enemmän esimerkkejä kustakin rodusta oppiakseen luokittelemaan koirat oikein. Aktiivinen oppiminen auttaa ratkaisemaan tällaisia ​​ongelmia.

Kuvittele, että voisimme saavuttaa 80%: n tarkkuuden mallilla, joka on koulutettu tietyllä perustiedostolla. Meille annetaan budjetti enintään 100 uuden kuvan merkitsemiseksi tuhannesta leimaamattomasta kuvasta ja pyrimme käyttämään tätä budjettia viisaasti, koska asiantuntijatuki merkinnöissä on kallista. Siksi sen sijaan, että valitsisimme 100 näytettä satunnaisesti, meidän pitäisi pikemminkin antaa koneoppijallemme valita vaikeimmat näytteet tai sellaiset, jotka parhaiten keräävät taustalla olevan tiedon jakelun ja minimoivat redundanssin. Annoimme mallin ehdottaa näitä 100 näytettä asiantuntijalle merkintöjä varten, joille malli osoittaisi etikettejä, joilla on alhainen luottamus tai suuri epävarmuus. Tällä tavalla koneoppijamme tarkkuus voi nousta 95%: iin koulutuksen jälkeen 90%: n sijasta asennuksessa, jossa käytettiin satunnaisesti leimattuja näytteitä. Vaihtoehtoisesti voimme myös yksinkertaisesti vähentää merkityn datan määrää ja siten kouluttaa mallin samalla tarkkuudella 90%, mutta vähemmän kustannuksia.

Kielenvaihto: molempien parhaiden yhdistäminen

Aktiivisen oppimisen ja automaattisen merkinnän asteittaisen parantamisen yhdistämiseksi tarvitaan koneoppija, joka koostuu kahdesta mallista. Ensinnäkin syrjivä malli tiettyjen näytteiden ennustamistarkkuuden epävarmuuden mittaamiseksi (aktiivinen oppiminen) ja toiseksi generatiivinen malli pseudo-maa-totuuden ennustamiseksi näytteille (automaattinen merkitseminen). Oppilaan koulutuksen tehostamiseksi pyrimme optimoimaan yhdessä molemmat mallit vastavuoroisen koulutuksen avulla. Tällä tavoin syrjivää mallia voidaan käyttää myös määrittämään epävarmuustekijät generatiivisen mallin ennusteille ja lisäämään ennusteiden tarkkuutta. Huipputeknistä mallia, joka on saavuttanut vahvan maineen tutkimusyhteisössä ja joka täyttää asetetut vaatimukset, kutsutaan Generative Adversarial Network (GAN).

Ihmisen ja koneen välinen oppiminen GAN: ien kanssa

Kun otetaan huomioon yllä olevassa kuvassa esitetty kehys, käytämme ensin generaattoria (G) ennustamaan pseudo-maa-totuus huomauttamattomille tiedoille. Koska erottelija (D) pystyy osoittamaan epävarmuustekijöiden paikkansa todellisen perustotuuden lisäksi myös G: n ennustaman, voimme lajitella leimaamattomat näytteet D-vaikeuksien tai epävarmuustekijöiden perusteella. Määrittelemme näytteet, joiden jakautumista ei ole täysin kaapattu mallia vielä niin vaikeaa ja anna D: n ehdottaa niitä ihmisen merkitsijälle. Käytämme muita helppoja näytteitä, joilla on pieni epävarmuus, tuottamalla automaattisesti huomautettuja tietoja G: n avulla. Ihmisen ohjauksella saadaan vahvempi D, joka on mukautettu opettajan määrittelemän tehtävän vaatimuksiin (aktiivinen oppiminen). Parannettu D työntää puolestaan ​​G: tä ennustamaan korkeamman pseudo-maa-totuuden (automaattinen merkintä). Tämän iteratiivisen parannuksen ansiosta GAN: t edustavat luonnollista kehystä ihmisen ja koneen yhdistämiseksi yhdeksi optimoiduksi koulutusmenetelmäksi.

Vaikka tieteiskirjallisuus on täynnä koneita ja robotteja, jotka uhkaavat ihmiskuntaa ja luovat siten epäilyksen ilmapiirin, käsite ihmisen yhteistyöhön perustuvasta oppimisesta kilpailevalla koulutuksella osoittaa, kuinka koneet voivat kohtuudella täydentää työtämme ja elämäämme positiivisella tavalla. Itse asiassa kuvatulla lähestymistavalla on vahva potentiaali muuttaa lukuisia sovelluksia esimerkiksi terveydenhuollon alalla. Erityisesti ryhmämme kehittää parhaillaan lähestymistapaa 3D-sydän- ja verisuoni-magneettikuvaus (MR) -segmenttien segmentointiin, mikä on tärkeä edellytys potilaskohtaisten sydänmallien luomiselle ja siten monimutkaisten sydänsairauksien hoidolle. Tavoitteenamme on luoda malli, joka oppii itsensä luomista segmentoinneista ja ehdottaa aktiivisesti vaikeita MR-kuvia asiantuntijoille manuaalista segmentointia varten. Tämä voisi vähentää huomattavasti tämän monimutkaisen toimenpiteen kustannuksia ja aikaa, jolloin radiologit voivat käyttää enemmän aikaa potilaan hoitoon. Vaikka tämä erityinen esimerkki osoittaa hienosti konseptin myönteisen vaikutuksen yhteiskuntaan, terveydenhuollon ulkopuolella on monia sovellusalueita, jotka hyötyvät alan tutkimuksen tuloksista.

Löydä MIDL 2019: n koko tutkimusdokumentti täältä: Epävarmuuteen perustuva semanttinen segmentointi ihmisen ja koneen yhteisöllisen oppimisen avulla