Deep Learning Papers -katsaus - Universal Adversarial Patch

Tässä artikkelissa aion aluksi keskustella kilpailevien kuvien tuottamisesta ja sitten ohjaan keskustelua hitaasti kohti Google Brainin tutkijoiden julkaistua mielenkiintoista paperia, joka käsittelee kilpailevien kuvien korjausta (https://arxiv.org/pdf/1712.09665). .pdf). Tässä artikkelissa on yleinen kuvakorjaus, joka lisättäessä kuvia aiheuttaisi minkä tahansa hermoverkon luokittelematta ne väärin. Lehden kirjoittajat ovat itse osoittaneet tämän youtube-videolla:

Otetaan ensin selvää, miksi tällaisia ​​vastustajia voidaan muodostaa.

Neuraaliverkkojen heikkoudet

Syvät neuroverkot ovat viime aikoina varmasti tuottaneet ”erittäin tarkkoja” tuloksia esineiden tunnistamiseen. Kuitenkin, neuroverkko voi luokitella kuvan virheellisesti minimaalisilla häiriöillä. Tarkastellaan mahdollisia syitä:

  • Syvät neuroverkot on koulutettu kiinteälle tietoryhmälle, ja sen vuoksi muutokset tulosignaaleihin, kuten käännös tai kierto, voivat tehdä siitä, että se luokitellaan väärin. Tämä tarkoittaa myös sitä, että tulosignaaliin lisätty pieni määrä kohinaa voi aiheuttaa sen virheellisen luokituksen. Esimerkiksi pienen määrän kohinan lisääminen sisääntulokuvaan voi aiheuttaa neuroverkon luokittelemaan kuvan väärin, vaikka ihmisen silmä ei havaitsisi kuvan muutosta. Tämä kuva antaa sinulle idean:

[Äskettäin oli Geoff Hintonin tekemä Capsule Networks -työ, joka on invariantti kuvanmuutoksiin. Kapselit ovat kuitenkin alttiita muun tyyppisille vastustajille. Ja jopa convnetit ovat enemmän tai vähemmän mittakaavassa ja muutoksessa epävariantteja]

  • Myös nykypäivän Deep Learning -pohjaiset luokittelijat ovat enimmäkseen palaviivaisia. Jopa suosituimmat aktivointitoiminnot, kuten ReLu (ja sen variantit), ovat osittain lineaarisia. Muut aktivointitoiminnot, kuten Sigmoid ja Tanh, ovat tässä yhteydessä poissuljettuja, koska ne aiheuttavat ongelmia, kuten ”Katoava kaltevuusongelma”. Vaikka hermostoverkot ovat ”epälineaarisia luokittelijoita”, ne saavuttavat tämän ns. Epälineaarisuuden useiden “lineaaristen” alueiden kautta

Nämä hermostoverkkojen heikkoudet johtivat kokonaiseen kenttään nimeltä “Adversarial Deep Learning” (yleensä “Adversarial Machine Learning” kaikenlaiselle tulosignaalille)

Luodaan kilpailevia kuvia

Kiellonkuvien luominen hermoverkon luokittelijan huijaamiseksi ei ole uusi ongelma. Aikaisemmin on ehdotettu paljon menetelmiä kilpailevien esimerkkien tuottamiseksi. Yksinkertaisin tapa tehdä tämä on muuttaa kuvan yksittäisten pikselien arvoa, kunnes uuden luokan todennäköisyys on maksimoitu. matemaattisesti

Yksinkertainen matemaattinen yhtälö kilpailevien kuvien muodostamiseen

(Useimmat tutkijat korvaavat yllä mainitun todennäköisyystermin yleensä log-todennäköisyydellä)

On myös gradienttipohjaisia ​​iteratiivisia menetelmiä, kuten nopea gradienttimerkkimenetelmä (FGSM), iteratiivinen gradienttimerkkimenetelmä ja iteratiivinen vähiten todennäköinen luokkamenetelmä vastakkaisten esimerkkien tuottamiseksi. Nämä menetelmät käyttävät ensisijaisesti lähtöluokan kustannusgradienttia (J) tulokuvaan nähden, jotta tulokuva muuttuisi iteratiivisesti gradientin perusteella. Katsotaanpa FGSM: n matemaattista yhtälöä:

FGSM

Lyhyesti sanottuna, FGSM lisää iterattisesti tulosignaalia pienellä määrällä kustannusgradientin suuntaan suhteessa tuloon.

Edellä mainittujen tekniikoiden lisäksi, tietenkin, on olemassa suosittuja GAN-verkkoja (generatiiviset kiertävät verkot) kilpailevien kuvien tuottamiseksi.

Edellä esitetyt menetelmät tuottavat tyydyttäviä kilpailevia esimerkkejä, mutta ne eivät ole riittävän vahvoja toimimaan vastaavasti muunnetuissa kuvissa. Tämä artikkeli nimeltään Luo et. al., osoittaa, että yllä olevat kiertävät esimerkit epäonnistuvat, kun niitä leikataan mielenkiinnon kohteena (vaahdotettu) pitkin. Tämä johtuu siitä, että Convnets on vankka kohti skaalaamista ja kääntämistä. Mutta tällainen muunnosääntö ei koske kuvaan lisättyä kohinaa tai häiriöitä, ts. Häiriöt eivät ole riittävän vahvoja Convnetin huijaamiseen edes kuvan muuntamisen jälkeen. Toisella paperilla, jonka otsikko on ”Ei tarvitse murehtia kiertävistä esimerkeistä esineiden havainnoinnissa itsenäisissä ajoneuvoissa”, on melkein sama tarkoitus.

Joten onko mahdollista jopa tuottaa vankka joukko kilpailevia kuvia? No, viime aikoina on ollut joitain mielenkiintoisia artikkeleita, joissa keskustellaan vankien vastustavien esimerkien tuottamisesta. Katsotaanpa joitain niistä:

  • Syntetisoidaan vankat vastustavat esimerkit (odottamalla muutosta)
  • Kiertoajelu
  • Kohti havaitsemattomia ja vankkoja vastavuoroisia esimerkkihyökkäyksiä hermoverkkoja vastaan

Tarkastelemme pääasiassa kahta ensimmäistä artikkelia.

Muutoksen odotus (EOT)

Ensimmäisestä artikkelista saatu teos (ts. Synkkisoimalla kestäviä kiertäviä esimerkkejä) tuottaa keskenään vertailuesimerkkejä, jotka ovat riittävän vahvoja "huijaamaan" neuroverkon luokittelija useimmissa kuvien muunnoksissa. Pohjimmiltaan, mitä täällä tapahtuu on, että luokan odotettu todennäköisyys on maksimoitu kaikissa mahdollisissa muunnosfunktioissa (t ~ T) rajoittamalla odotettua todellista etäisyyttä muunnetun alkuperäisen ja muunnetun häiriintyneen kuvan välillä. Yritetään ymmärtää, mitä tämä tarkoittaa.

EOT: ssa annettu kuva tehdään ensin kiertäväksi jollain edellä mainituista menetelmistä. Nyt määrittelemme muunnostilan 'T', joka sisältää muunnoksia, kuten kierto, skaalaus, käännös ja niin edelleen. Sitten laskemme odotettavissa olevan halutun luokkatunnisteen log-todennäköisyyden. Näyttää siltä, ​​että se näyttää matemaattisesti:

Odotettu log-todennäköisyys halutulle luokalle ottaen huomioon muunnokset

Yritämme sitten maksimoida tämä odotettu todennäköisyys sillä ehdolla, että muunnetun alkuperäisen ja häiriintyneen kuvan välinen odotettu efektiivinen etäisyys on pienempi kuin arvo ε. Joten ottamalla huomioon odotettu todennäköisyys (tai loki-todennäköisyys), kirjanpitämme kaikki muutostilassa olevat muunnelmat. Ja pakko on varmistaa, että luodut kuvat ovat mahdollisimman lähellä alkuperäistä muunnosta. Tämä on mitä lopullinen yhtälö näyttää:

Kiertoajelu

Yllä olevan videon perusteella on selvää, että etsimme "Universal" -korjaustiedostoa, joka lisättynä mihin tahansa kuvaan tekee hermoverkosta kuvan luokituksen väärin. Tätä varten operaattoriA () määritetään ensin. Operaattori A ottaa laastarin, kuvan, koordinaatit kuvassa (laastarin asettamiseksi) ja laastariin sovellettavat muunnokset, kuten käännös, kääntö ja skaalaus.

Intuitio operaattorin A takana

Optimaalisen laastarin löytämiseksi tietylle tarralle käytetään Expectation over Transformation -arvoa luokitteluvirheiden todennäköisyyden maksimoimiseksi. Matemaattisesti se näyttää tältä:

Alkuperäisessä paperissa käytettiin kilpailevana luokana leivänpaahdin ja viimeinen laastari näytti tältä:

Yksi rajoitus tälle kilpailevalle korjaustiedolle on, että et voi huijata esineiden havaitsemismalleja (malleja, jotka tunnistavat kuvan eri objektit). Esimerkiksi, yritin äskettäin ladata kuvan tällä laastarilla Facebookiin (: P). Koska Facebook luettelee kaikki kuvan ennusteet sen sisältävän img-tunnisteen Alt-määritteessä, voit tarkistaa sen ennusteet heti kun lataat kuvan. Tässä on mitä yritin:

Vasemmalla: facebook-viestini, oikealla: Chrome Dev -työkalut

(: P)

[Yllä olevan luettelon kolmas paperi, ts. “Kohti havaitsemattomia ja vankkoja vastavuoroisia esimerkkihyökkäyksiä hermostoverkkoja vastaan”, ilmestyi vain noin viikko sitten. Siinä lehdessä he ovat ottaneet huomioon ihmisen havainnollisen järjestelmän tuottaessaan kiertäviä esimerkkejä]

Yhteenveto

  • Kieltosivun sisällön tuottaminen: Me lisäämme olennaisesti väärän luokituksen todennäköisyyttä lisäämällä melua toistuvasti. Jotkut suositut tekniikat, kuten FGSM, lisäävät kohinan lisäämiseen kustannusgradientin merkkiä
  • Heikkous: Nämä menetelmät eivät ole riittävän vahvoja hermoverkon ”huijaamiseksi”, kun häiriintyvän tulon kuva muuttuu (arxiv: 1511.06292 ja arxiv: 1707.03501)
  • Muutoksen odotus: Ensin luodaan kiertävä kuva jollain yllä mainituista menetelmistä. Sitten maksimoimme luokan odotetun log-todennäköisyyden häiriintyneen kuvan tietylle muunnelmalle. Tämä odotus on yli kaikkien muutostilojen muutostilassa 'T'
  • Kiertävä laastari: Määrittää operaattorin A, joka kiinnittää laastarin annettuun kuvaan. Sitten odotusta muutosta käytetään maksimoimaan uuden luokan lokitodennäköisyys sillä ehdolla, että se ei poikkea liikaa aloituskorjauksesta.