AutoML: Koneoppimallien suunnittelun automatisointi itsenäiseen ajamiseen

Tekijät: Shuyang Cheng ja Gabriel Bender *

Waymossa koneoppimisella on avainrooli melkein jokaisessa osassa itseohjautuvaa järjestelmäämme. Se auttaa autojamme näkemään ympäristönsä, ymmärtämään maailmaa, ennustamaan, kuinka muut käyttäytyvät, ja päättämään seuraavasta parhaasta liikkeestään.

Ota havainto: järjestelmämme käyttää hermostoverkkojen yhdistelmää, jonka avulla ajoneuvomme voivat tulkita anturitietoja esineiden tunnistamiseksi ja seuraamiseksi ajan myötä, jotta se voi ymmärtää syvällisesti sitä ympäröivää maailmaa. Näiden hermoverkkojen luominen on usein aikaa vievä tehtävä; Neuraaliverkkoarkkitehtuurien optimointi itsenäisten autojen käyttämiseen tarvittavan laadun ja nopeuden saavuttamiseksi on monimutkainen hienosäätöprosessi, joka voi viedä insinööreillämme kuukausia uuteen tehtävään.

Nyt yhteistyössä Brain-tiimin Google AI-tutkijoiden kanssa olemme ottamassa käyttöön huippututkimusta käytännössä hermoverkkojen luomiseksi automaattisesti. Lisäksi nämä huipputekniset hermoverkot ovat laadukkaampia ja nopeampia kuin insinöörien käsin hienosäätämät.

Jotta itseohjautuva tekniikka saataisiin eri kaupunkeihin ja ympäristöihin, meidän on optimoitava mallimme erilaisille skenaarioille suurella nopeudella. AutoML antaa meille mahdollisuuden tehdä juuri niin, että se tarjoaa suuren määrän ML-ratkaisuja tehokkaasti ja jatkuvasti.

Siirtooppiminen: Olemassa olevien AutoML-arkkitehtuurien käyttäminen

Yhteistyömme aloitettiin yksinkertaisella kysymyksellä: voisiko AutoML luoda korkealaatuisen ja matalassa viiveessä olevan hermoverkon autolle?

Laatu mittaa hermoverkon tuottamien vastausten tarkkuutta. Viive viittaa siihen, kuinka nopeasti verkko tarjoaa vastauksensa, jota kutsutaan myös päättelyaikaksi. Koska ajo on toimintaa, joka vaatii ajoneuvoiltamme käyttämään reaaliaikaisia ​​vastauksia ja ottaen huomioon järjestelmän turvallisuuskriittisen luonteen, hermoverkkojemme on toimittava pienellä viiveellä. Suurin osa verkkoistamme, jotka kulkevat suoraan ajoneuvoihimme, tuottavat tulokset alle 10 ms: n nopeudella, mikä on nopeampaa kuin monet verkot, joita käytetään tietokeskuksissa, jotka käyttävät tuhansia palvelimia.

Alkuperäisessä AutoML-julkaisussaan [1] Google AI -kollegamme pystyivät tutkimaan automaattisesti yli 12 000 arkkitehtuuria ratkaisemaan CIFAR-10: n klassisen kuvan tunnistamisen tehtävän: tunnistaa pieni kuva edustaa yhtä kymmenestä luokasta, kuten auto , lentokone, koira jne. Jatkotutkimuksessa [2] he löysivät hermoverkkojen rakennuspalikoiden perheen, nimeltään NAS-solut, jotka voitaisiin rakentaa rakentamaan automaattisesti paremmin kuin käsin muotoillut verkot CIFAR-10: lle. ja vastaavat tehtävät. Tämän yhteistyön avulla tutkijamme päättivät käyttää näitä soluja automaattisesti uusien mallien rakentamiseen omalle ajamiseen liittyviä tehtäviä varten, siirtäen siten CIFAR-10: llä opitut kentällemme. Ensimmäinen kokeilumme oli semanttisen segmentointitehtävän kanssa: tunnistaa LiDAR-pistepilven jokainen piste joko autona, jalankulkijana, puuna jne.

Yksi esimerkki NAS-solusta. Tämä solu käsittelee kahden edellisen kerroksen syötteet hermoverkossa.

Tätä varten tutkijamme perustivat automaattisen hakualgoritmin tutkimaan satoja erilaisia ​​NAS-solukombinaatioita konvoluutioverkkotekniikassa (CNN), kouluttamaan ja arvioimaan malleja LiDAR-segmentointitehtävällemme. Kun suunnittelijamme hienosäätävät näitä verkkoja käsin, he voivat tutkia vain rajoitetun määrän arkkitehtuureja, mutta tällä menetelmällä tutkimme automaattisesti satoja. Löysimme malleja, jotka paransivat aiemmin käsintehtyjä kahdella tavalla:

  • Joillakin oli huomattavasti alhaisempi latenssi samanlaadisella laadulla.
  • Toisilla oli vielä parempi laatu ja samanlainen viive.

Tämän ensimmäisen menestyksen vuoksi sovelimme samaa hakualgoritmia kahteen lisätehtävään, jotka liittyvät liikenneväylien havaitsemiseen ja lokalisointiin. Siirto-oppimistekniikka toimi myös näissä tehtävissä, ja pystyimme asentamaan kolme uutta koulutettua ja parannettua hermoverkkoa autoon.

Kokonaishaku: Uusien arkkitehtuurien etsiminen tyhjästä

Nämä ensimmäiset tulokset rohkaisivat meitä, joten päätimme mennä askeleen eteenpäin etsimällä laajemmin täysin uusia arkkitehtuureja, jotka voisivat antaa vielä parempia tuloksia. Rajoittamatta itseämme jo löydettyjen NAS-solujen yhdistämiseen, voisimme etsiä suoremmin arkkitehtuureja, joissa otettiin huomioon tiukat latenssivaatimuksemme.

Päästä päähän -haun suorittaminen vaatii yleensä tuhansien arkkitehtuurien tutkimiseen manuaalisesti, mikä aiheuttaa suuria laskennallisia kustannuksia. Yhden arkkitehtuurin tutkiminen vaatii useita päiviä harjoittelua datakeskuksen tietokoneella, jossa on useita GPU-kortteja, mikä tarkoittaa, että yhden tehtävän etsiminen vie tuhansien päivien laskelmia. Sen sijaan suunnittelimme välityspalvelimen: pienennetyn LiDAR-segmentointitehtävän, joka voitiin ratkaista vain muutamassa tunnissa.

Yksi haaste, jonka joukkue joutui ratkaisemaan, oli löytää välityspalvelutehtävä, joka oli riittävän samanlainen kuin alkuperäinen segmentointitehtävämme. Kokeilimme useita välityspalvelutehtäväsuunnitelmia ennen kuin pystyimme selvittämään hyvän korrelaation kyseisen tehtävän arkkitehtuurien ja alkuperäisessä tehtävässä löydettyjen välillä. Sitten käynnistimme samanlaisen haun kuin alkuperäisessä AutoML-paperissa, mutta nyt välityspalvelimen tehtävässä: välityspalvelimen päästä päähän -haku. Tämä oli ensimmäinen kerta, kun tätä käsitettä on käytetty käytettäväksi LiDAR-tiedoissa.

Välityspalvelimen välinen haku: tutkia tuhansia arkkitehtuureja pienennetyssä välityspalvelutehtävässä, soveltaa 100 parasta alkuperäiseen tehtävään, vahvistaa ja ottaa käyttöön parhaista parhaista arkkitehtuureista autossa.

Käytimme useita hakualgoritmeja, optimoimalla laatu ja viive, koska tämä on kriittinen tekijä ajoneuvossa. Tarkasteltaessa erityyppisiä CNN-arkkitehtuureja ja käyttämällä erilaisia ​​hakustrategioita, kuten satunnaista hakua ja vahvistusoppimista, pystyimme tutkimaan yli 10 000 erilaista arkkitehtuuria välityspalvelimen tehtäväksi. Välityspalvelimen käyttäminen vei vain kaksi viikkoa vuoden laskenta-ajan Google TPU -klusterissa. Löysimme vielä parempia verkkoja kuin meillä oli ennen, kun olimme juuri siirtäneet NAS-soluja:

  • Neuroverkot, joiden latenssi on 20–30% alhaisempi ja tulokset ovat samanlaatuisia.
  • Laadukkaammat hermostoverkot, joiden virhesuhde on 8–10% alhaisempi, samalla viiveellä kuin aikaisemmat arkkitehtuurit.
1) Ensimmäinen kaavio näyttää noin 4000 arkkitehtuuria, jotka on löydetty satunnaisella haulla yksinkertaisella arkkitehtuurilla. Jokainen piste on koulutettu ja arvioitu arkkitehtuuri. Kiinteä viiva merkitsee parhaita arkkitehtuureja erilaisilla päästöaikarajoituksilla. Punainen piste osoittaa siirtooppimisella rakennetun verkon latenssin ja suorituskyvyn. Tässä satunnaisessa haussa verkot eivät olleet yhtä hyviä kuin siirto-opiskeluverkot. 2) Toisessa kaaviossa keltaiset ja siniset pisteet osoittavat kahden muun hakualgoritmin tulokset. Keltainen oli satunnainen haku hienostuneelta arkkitehtuurijoukolta. Sinisessä käytettiin vahvistusoppimista kuten [1] ja tutkittiin yli 6000 arkkitehtuuria. Se antoi parhaat tulokset. Nämä kaksi ylimääräistä hakua löysivät verkot, jotka olivat huomattavasti parempia kuin siirto-oppimisen netto.

Jotkut haussa löydetyistä arkkitehtuureista osoittivat luovien yhdistelmien muodostumisista, yhdistämisestä ja dekonvoluutioista, kuten alla olevassa kuvassa. Nämä arkkitehtuurit osoittautuivat erittäin toimiviksi alkuperäisessä LiDAR-segmentointitehtävässämme, ja ne otetaan käyttöön Waimon itsenäisissä ajoneuvoissa.

Yksi välityspalvelimen päästä päähän -haun löytämistä hermoverkkoarkkitehtuureista.

Mitä seuraavaksi

AutoML-kokeilumme ovat vasta alkua. LiDAR-segmentointitehtävissä sekä siirron oppiminen että välityspalvelimen päästä päähän -haku tarjosivat verkkoja, jotka olivat parempia kuin käsintehtyjä. Meillä on nyt mahdollisuus soveltaa näitä mekanismeja myös uudentyyppisiin tehtäviin, mikä voisi parantaa monia muita hermoverkkoja.

Tämä kehitys avaa uusia ja mielenkiintoisia tapoja tulevaisuuden ML-työllemme ja parantaa itseohjautuvan tekniikkamme suorituskykyä ja ominaisuuksia. Odotamme innolla jatkavan työskentelyämme Google AI: n kanssa, joten pysy ajan tasalla lisää!

Viitteet

[1] Barret Zoph ja Quoc V. Le. Neuraaliarkkitehtuurin haku vahvistusoppimisella. ICLR, 2017.

[2] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, siirrettävien arkkitehtuurien oppiminen skaalautuvaan kuvan tunnistukseen. CVPR, 2018.

* Kiitokset

Tämän Wayemin ja Googlen välisen yhteistyön aloittivat ja sponsoroivat Matymoie Devin Waymoista ja Googlen Quoc Le. Työn johtivat Wayun Shuyang Cheng sekä Googlen Gabriel Bender ja Pieter-jan Kindermans. Ylimääräiset kiitokset Vishy Tirumalashettyn ​​tuesta.

Waymo- ja Google-tiimien jäsenet (vasemmalta): Gabriel Bender, Shuyang Cheng, Matthieu Devin ja Quoc Le