Noviisi tutkijaksi; Kaksi vuotta syvää oppimista Fast.ai: n kanssa

Palattuaan isyyslomalta tämän vuoden maaliskuussa olen innoissani voidessani kertoa, että olen liittynyt NVidiaan tekemään soveltavaa syväoppimistutkimusta kokopäiväisesti työskentelemällä taulukkomuodon (joskus kutsutaan myös jäsenneltynä) ja rapids.ai: n välillä. Tämä matka ei olisi ollut mahdollista ilman hämmästyttävää kurssia, kirjastoa ja yhteisöä, joka on fast.ai.

Kuten Sylvain Gugger, toinen kurssin alumni, joka työskentelee tällä hetkellä fastai-tutkijana ja jonka blogikirjoitus inspiroi tätä, fastai on muuttanut elämääni ja olen syvästi kiitollinen Jeremylle ja Rachelille heidän näkemyksestään helpommin saatavilla olevasta syvältä koulutuksen oppiminen kaikille. Hänen viestinsä hengessä halusin jakaa matkani ja asiat, jotka ovat auttaneet minua matkalla toivoen, että ne auttavat ja inspiroivat muita, jotka alkavat tällä tiellä.

Matka

Toisin kuin monet fastai-opiskelijat, olen kotoisin koneoppimisesta. Yksi keskittyi edelleen ihmisen tietokonevuorovaikutukseen ja ennakkoon syventävään oppimiseen, joten opinnäytetyön aikana tekemäni työ voitiin suorittaa fastai-opiskelijalla tunneissa, mutta matematiikan / ohjelmoinnin perusta ja kyky lukea kirjoituksia auttoivat ehdottomasti. Silti viittaan harvoin takaisin siihen aikaan ja olen täysin samaa mieltä Jeremyn arvion kanssa, jonka mukaan tohtoria ei vaadita syvällisen oppimisen suorittamiseen.

Yliopiston jälkeen työskentelin online-treffisivustolla paljon kalaa, kirjoittaen vastaavia algoritmeja, petosten havaitsemisjärjestelmiä ja johtaen lopulta tutkimusryhmää. Jätin vuoden kuluttua sen myynnistä Match-ryhmälle, ja jouduin tienhaaraan tutkiessani tietotekniikan vaihtoehtoja enkä ole oikeasti kiinnostunut palaamaan tietotekniikkaan.

Fastai-kurssi v1 ilmestyi samana keväänä, ja kun työskentelin läpi sen ja tutustuin foorumin ihmisiin, sain yhä enemmän koukkua. Ylhäältä alaspäin sovellettu kehitys on minulle hyvin toimiva oppimislähestymistapa, ja rakastuin nopeasti Jeremyn opetustyyliin. Kun sain selville osan 2, hain heti ja hyppäsin kirjaimellisesti ilosta, kun sain selville, että olen päässyt sisään.

Suosittelijajärjestelmieni taustalla olin kiinnostunut siitä kurssin komponentista ja aloin tutkia sitä alaa yhä enemmän. Prosessin aikana sain tehtävän Realtor.com-sivustossa työskentelemällä suositus- ja hakuarviointiprojektien parissa, ja juuri siellä aloin todella nähdä, mitä minulle opetetaan. Syvästä suositusjärjestelmien oppimisesta tuli intohimo, ja kyydin ensin kärjessäni, lukemalla jokaisen aihepaperiin ja kuluttaen kaiken mitä voin löytää Youtubesta. Puhun enemmän seuraavan osan tutkimuksen rooliin johtaneiden kahden viime vuoden aikana muodostuneista tapoista, jotka ovat johtaneet tutkijarooliin, mutta tämä aika oli minulle hyvin muodostava kehittäessään taitoja ja tietopohjaa, joka johti nykyiseen rooli NVidiassa.

Olen matkan varrella ottanut jokaisen paastotarjouksen. Olen tällä hetkellä kolmannella iterauksella, ja jokainen luokka oppii jotain uutta. Jos et ole katsellut vanhoja kursseja, suosittelen palaamista, ja sama asia koskee koneoppimiskurssia, joka opetti minulle mitä tiedän satunnaisista metsämalleista. Fastain tarjoaman koulutuksen laatu on niin korkea, että organisoin ryhmäni sen ympärille Realtorissa käyttämällä luokkia hyppäämispisteinä projekteihin, jotka osoittautuivat erittäin onnistuneiksi.

Vaiheet matkan varrella

Vaikka matkani on minulle ainutlaatuinen, haluan tarjota apua niille, jotka haluavat saavuttaa saman unelman tulla syväoppimiseksi tutkijaksi tai paremmaksi toimijaksi.

Vinkkejä siitä, kuinka nopeasti saada aikaan paljon foorumeita, suosittelen, että etsit niitä ja seuraa niitä, jos et vielä ole. Luokan ylittäminen vaatii lisäponnisteluja, mutta mielestäni se on, kun taikuutta todella alkaa tapahtua. Monet tottumukset ovat todella auttaneet minua tulemaan paremmaksi tutkijaksi ja paremmaksi kehittäjäksi. Ne ovat yksinkertaisia, mutta tehokkaita. Niiden läpi on helppo tuulta, kuten voit siirtää välilehteä muistikirjojen läpi, mutta jos pystyt panemaan ne täytäntöön, takaa, että niillä on vaikutus.

  1. Nauti papereista. Tarkista Arxiv viikoittain, lue paperi joka ilta. Käytin aiemmin arxiv-sanitya, mutta valitettavasti sitä ei enää näytä ylläpidettävän. Etsin edelleen ratkaisua, joten jos sinulla on jotain, kerro siitä minulle. Suosittelen valitsemaan tietty tutkimusalue, josta voit lukea suurimman osan julkaistuista papereista. Löydä kiinnostava aihe, kuten suositus tai tyylinsiirto, ja pysy siinä pienellä kentällä. Tapana lukea säännöllisesti papereita on nyt supervoimani. Se on sellainen, joka sinulla voisi olla, jos muodostat tapan.
  2. Muunna fastai-videot vain ääniksi kuunnellaksesi podcastina tien päällä. Minulle ei ole mahdollista löytää aikaa katsella videoita kahdesti tai kolme kertaa, varsinkin kun minulla on kaksi nuorta poikaa, mutta materiaalin tiheys vaatii sitä. Katso sitä kerran ja kuuntele uudelleen ja uudelleen työmatkalla, kävellä tai missä tahansa. Olen kuunnellut kymmeniä kertoja ja poimin edelleen uusia konsepteja ja ideoita.
  3. Toteuta jotain erilaista kuin kannettavat tarjoavat, päästä päähän. Tämä oli avain minulle avaamaan paaston potentiaali. Olen luonut uudelleen turmeltuneen autokooderin ratkaisusta porto seguro -turvallisen kuljettajan kilpailuun. Se osoittautui lähtökohtana monelle tutkimukselle, joka koski syvällistä oppimista taulukkotiedoissa, ja johti nykyiseen roolini. Valitse jotain erilaista kuin mitä useimmat ihmiset toteuttavat, ja pane se täytäntöön hyvin.
  4. Pysy aktiivisena foorumeilla ja osallistu yhteisöön. Se on mielestäni yksi huomioimattomimmista kurssin näkökohdista, ja se tarjoaa koko joukon ihmisiä yhtä innostuneiksi syvällisestä oppimisesta kuin sinäkin. Minulle se on ollut suuri ideoiden, tiedon ja kiinnostuksen katalysaattori.
  5. Etsi muita kursseja laajentaaksesi näkymiäsi. Suosittelen erittäin voimakkaasti Stanfordin NLP-kurssia CS224n, jonka opettaja on Chris Manning, CS231n, jonka opettaja on Andrej Karpathy, Gene Koganin syventävää oppimista käsittelevä kurssi taiteeseen Neuraali Estetiikka ja PyData, josta käy säännöllisesti suuria syviä oppimiskeskusteluja.

Fastai on antanut minulle niin paljon ja tekee niin edelleen, ja olen innoissani siirtyessäni tilanteeseen, jossa voin lopulta antaa jotain takaisin. Jos olisit kertonut minulle matkan alussa, kun näin ensimmäisen videon youtubessa, että ilmainen online-MOOC johtaisi minut tutkimusrooliin yhdessä maailman huipputeknologiayrityksistä, en ole varma, että minulla olisi uskoi sinua, mutta tässä minä olen. En ole epäilemättä, että se johtuu melkein kokonaan fast.ai.