AI še vedno ne uspeva pri robustnem prepoznavanju ročno napisanih številk (in kako ga odpraviti)

Pogumljeno je Deep Learning, da rešuje vse, od samovozečih avtomobilov do svetovne klime. In vendar globoka nevronska omrežja (delovni konj globljega učenja) ne rešijo zadovoljivo niti najpomembnejših nalog: robustno prepoznavanje ročno napisanih številk. Upoštevajte naslednje primere:

Številka pod vsako števko prikazuje napoved omrežja. Vse te vzorce pravilno razvrsti. Kaj je torej težava? No, upoštevajte naslednje slike:

… Majhne spremembe lahko popolnoma izničijo omrežne odločitve.

Slike smo le nekoliko spremenili, zdaj pa nevronska mreža napačno razvršča vse. Tovrstni "adverzarni" vnosi so znani že vrsto let. V bistvu vplivajo na vsako aplikacijo Deep Learning, od prepoznavanja predmetov, semantične segmentacije slike, prepoznavanja govora do filtriranja neželene pošte. Prizadeto je in lahko je napadeno vsako posamezno nevronsko omrežje, ki je trenutno nameščeno (vključno na primer Siri ali Amazon Echo).

A še slabše je: razmislite o naslednjem nizu slik:

Te slike z veliko zaupanja klasificirajo nevronske mreže kot

Ali prepoznate celo namig na ročno napisano cifro? Ne? Nevronska mreža je izjemno prepričana, da so to vse ničle. Te tako imenovane neprepoznavne slike poudarjajo samo še en problem današnjih nevronskih omrežij: obnašajo se popolnoma zmotno, če so vhodi predaleč od "običajnih" podatkov (v tem primeru hrup namesto številk).

To težavo z robustnostjo so mnogi prepoznali kot eno od glavnih zaporednih poti k uvedbi poglobljenega učenja. Ne samo zaradi varnostnih razlogov, ampak tudi zato, ker te napake poudarjajo, da nimamo pojma, kako nevronske mreže resnično delujejo in katere slikovne značilnosti uporabljajo za razvrščanje. V zadnjih dveh letih se je število dokumentov, ki poskušajo rešiti to težavo, močno povečalo, vendar doslej brez uspeha. Pravzaprav je nevronsko omrežje, ki smo ga uporabili za razvrščanje zgoraj napisanih rokopisnih številk, trenutno priznano kot najbolj trden model (Madry et al.). To dejstvo poudarja, kako daleč smo od robustnih modelov prepoznavanja - tudi za preproste rokopisne številke.

V našem nedavnem prispevku predstavljamo nov koncept za zanesljivo razvrščanje slik. Ideja je zelo preprosta: če je slika razvrščena kot sedmerica, bi morala vsebovati približno dve vrstici - eno krajšo, eno daljšo -, ki se dotikata drug na drugem koncu. To je generativen način razmišljanja o številkah, ki je za človeka precej naraven in nam omogoča, da zlahka opazimo signal (črte) tudi med velikimi količinami hrupa in motenj. Takšen model bi moral olajšati uvrstitev zgoraj omenjenih primerov konkurence v pravilen razred. Učenje generativnega modela števk (recimo ničle) je precej preprosto (z uporabo Variational Autoencoderja) in na kratko deluje na naslednji način: izhajamo iz latentnega prostora spremenljivk zaradi motenj (ki lahko zajamejo stvari, kot so debelina ali nagib številke in se jih naučimo iz podatkov) in ustvarijo sliko z uporabo nevronske mreže. Nato prikažemo primere ročno napisanih nič in mrežo usposobimo za izdelavo podobnih. Na koncu usposabljanja je mreža spoznala naravne različice ročno napisanih ničel:

Generativni model ničle se nauči značilnih različic ročno napisanih številk (desna stran).

Naučimo se takega generativnega modela za vsako števko. Potem, ko pride nov vhod, preverimo, kateri cifren model lahko najbolje približa novi vhod. Ta postopek običajno imenujemo analiza po sintezi, saj analiziramo vsebino slike po modelu, ki jo najbolje sintetizira. Običajna omrežja za prenos, na drugi strani nimajo mehanizmov povratnih informacij, s katerimi bi preverila, ali vhodna slika res spominja na sklepni razred:

Feedforward omrežja neposredno prehajajo od slike do razreda in ne morejo preveriti, ali je razvrstitev smiselna. Naš model analize po sintezi preveri, katere lastnosti so prisotne, in jih razvrsti glede na to, kateri razred je najbolj smiseln.

To je res ključna razlika: omrežja za prenos ne morejo preveriti svojih napovedi, zaupati jim morate. Naš model analize po sintezi na drugi strani izgleda, ali so nekatere lastnosti slike resnično prisotne v vhodu, preden skočite na zaključek.

Za ta postopek ne potrebujemo popolnega generativnega modela. Naš model ročno napisanih številk zagotovo ni popoln: poglejte zamegljene robove. Kljub temu lahko naš model ročno napisane številke razvrsti z visoko natančnostjo (99,0%), njegove odločitve pa imajo človeka veliko smisla. Na primer, model bo vedno prikazal nizko zaupanje pri zvočnih slikah, saj ne izgledajo kot nobena številka, ki jo je videl prej. Slike, ki so najbližje hrupu, ki jih model analize po sintezi še vedno uvršča med številke z visoko zaupnostjo, imajo za človeka veliko smisla:

Naš model analize po sintezi smo poskušali sintetizirati neprepoznavne slike, ki jih še vedno z veliko zaupanja uvrščamo v ničle. To je najboljše kar imamo.

V trenutnem najsodobnejšem modelu Madry et al. ugotovili smo, da so minimalne motnje čistih številk pogosto dovolj, da izničijo klasifikacijo modela. Če naredimo enako za naš model analize po sintezi, daje presenetljivo različne rezultate:

Nadzorni primeri za model analize po sintezi. Lahko uganite, kakšna je bila prvotna številka?

Upoštevajte, da so vznemirjenja človeka zelo smiselna in včasih se je težko odločiti, v kateri razred naj se slika uvrsti. Prav to pričakujemo pri robustnem modelu klasifikacije.

Naš model ima več drugih pomembnih lastnosti. Na primer, odločitve modela analize po sintezi je veliko lažje razlagati, saj je mogoče neposredno videti, katere značilnosti usmerjajo model k določeni odločitvi. Poleg tega lahko dobimo celo nekaj nižjih meja njegove robustnosti.

Model analize po sintezi še ne ustreza človeški percepciji in čaka nas še dolga pot (glej celotno analizo v našem rokopisu). Kljub temu menimo, da so ti rezultati izjemno spodbudni in upamo, da nam bo naše delo utrlo pot do novega razreda klasifikacijskih modelov, ki so natančni, robustni in razlagalni. O teh novih modelih se moramo še veliko naučiti, najmanj pa o tem, kako narediti bolj učinkovit sklep in kako jih prilagoditi na bolj zapletene podatkovne naloge (na primer CIFAR ali ImageNet). Trudimo se odgovoriti na ta vprašanja in veselimo se, da bomo z vami v prihodnosti delili več rezultatov.

Proti prvemu močnejšemu modelu nevronskih mrež na MNIST

Lukas Schott, Jonas Rauber, Matthias Bethge, Wieland Brendel
arXiv: 1805.09190