U mašinskom učenju, perceptron je nadzirani algoritam učenja za binarne klasifikatore. Često se naziva i perceptron. Binarni klasifikator je funkcija koja može odlučiti da li ulaz, predstavljen vektorom brojeva, pripada nekoj određenoj klasi. Ovo je vrsta linearnog klasifikatora, odnosno klasifikacionog algoritma koji svoje predviđanje pravi na osnovu funkcije linearnog prediktora koja kombinuje skup pondera sa vektorom karakteristika.
Posljednjih godina, umjetne neuronske mreže su privukle pažnju zbog napretka u dubokom učenju. Ali šta je umjetna neuronska mreža i od čega se sastoji?
Upoznajte Perceptron
U ovom članku ćemo nakratko pogledati umjetne neuronske mreže općenito, zatim pogledati jedan neuron, i na kraju (ovo je dio kodiranja) uzet ćemo najosnovniju verziju umjetne neuron, perceptron, i klasifikovati njegove tačke uavion.
Da li ste se ikada zapitali zašto postoje zadaci koji su tako laki za bilo koju osobu, ali neverovatno teški za računare? Veštačke neuronske mreže (skraćeno ANN) inspirisane su ljudskim centralnim nervnim sistemom. Kao i njihov biološki pandan, ANN su izgrađene na jednostavnim elementima za obradu signala koji su kombinovani u veliku mrežu.
Neuronske mreže moraju naučiti
Za razliku od tradicionalnih algoritama, neuronske mreže se ne mogu "programirati" ili "podesiti" da rade kako je predviđeno. Baš kao i ljudski mozak, oni moraju naučiti da završe zadatak. Grubo govoreći, postoje tri strategije učenja.
Može se koristiti najlakši način ako postoji testni slučaj (dovoljno velik) sa poznatim rezultatima. Zatim obuka ide ovako: obradite jedan skup podataka. Uporedite rezultat sa poznatim rezultatom. Postavite mrežu i pokušajte ponovo. Ovo je strategija učenja koju ćemo ovdje koristiti.
Učenje bez nadzora
Korisno ako nema dostupnih testnih podataka i ako je moguće izvesti neku funkciju troškova iz željenog ponašanja. Funkcija troškova govori neuronskoj mreži koliko je udaljena od cilja. Mreža tada može podesiti svoje parametre u hodu, radeći sa stvarnim podacima.
Pojačano učenje
Metoda "šargarepa i štap". Može se koristiti ako neuronska mreža generiše kontinuiranu akciju. Vremenom, mreža uči da preferira ispravne akcije i izbjegava pogrešne.
U redu, sada znamo nešto o tomeprirode veštačkih neuronskih mreža, ali od čega su one tačno napravljene? Šta ćemo vidjeti ako otvorimo poklopac i pogledamo unutra?
Neuroni su građevni blokovi neuronskih mreža. Glavna komponenta svake umjetne neuronske mreže je umjetni neuron. Ne samo da su nazvani po svojim biološkim kolegama, već su i modelirani po ponašanju neurona u našem mozgu.
Biologija vs tehnologija
Baš kao što biološki neuron ima dendrite za primanje signala, tijelo ćelije koje ih obrađuje i akson koji šalje signale drugim neuronima, umjetni neuron ima više ulaznih kanala, fazu obrade i jedan izlaz koji može granaju se na mnoge druge. umjetni neuroni.
Možemo li učiniti nešto korisno s jednim perceptronom? Postoji klasa problema koje jedan perceptron može riješiti. Razmotrite ulazni vektor kao koordinate tačke. Za vektor sa n-elementima, ova tačka će živjeti u n-dimenzionalnom prostoru. Da pojednostavimo život (i kod ispod), pretpostavimo da je 2D. Kao komad papira.
Dalje, zamislite da nacrtamo neke nasumične tačke na ovoj ravni i podelimo ih u dva seta crtanjem prave linije preko papira. Ova linija dijeli tačke u dva skupa, jedan iznad i jedan ispod linije. Dva skupa se tada nazivaju linearno odvojivi.
Jedan perceptron, ma koliko to izgledalo jednostavno, može znati gdje se nalazi ova linija, a kada završi obuku, može odrediti da li je data tačka iznad ili ispod ove linije.
Historijaizumi
Algoritam za ovu metodu izumio je 1957. godine u Cornell Aviation Laboratory od strane Franka Rosenblata (često nazvanog po njemu), koji je finansirala Američka kancelarija za pomorska istraživanja. Perceptron je trebao biti mašina, a ne program, i iako je njegova prva implementacija bila u softveru za IBM 704, kasnije je implementiran na hardveru napravljenom po narudžbi kao "Mark 1 Perceptron". Ova mašina je dizajnirana za prepoznavanje slika: imala je niz od 400 fotoćelija nasumično povezanih sa neuronima. Težine su kodirane u potenciometrima, a ažuriranje težine tokom treninga vršili su elektromotori.
Na konferenciji za novinare koju je organizovala američka mornarica 1958. godine, Rosenblatt je dao izjave o perceptronu koji je izazvao žestoku debatu među mladom AI zajednicom; Na osnovu Rosenblattovih tvrdnji, New York Times je objavio da je perceptron "embrionalni elektronski kompjuter za koji mornarica očekuje da može hodati, govoriti, vidjeti, pisati, reproducirati se i biti svjestan njegovog postojanja."
Daljnji razvoj
Iako se perceptron u početku činio obećavajućim, brzo je dokazano da perceptroni ne mogu biti obučeni da prepoznaju mnoge klase obrazaca. To je dovelo do stagnacije u polju istraživanja s perceptron neuronskim mrežama dugi niz godina prije nego što je prepoznato da neuronska mreža s dva ili više slojeva (također se nazivavišeslojni perceptron) imao je mnogo veću procesorsku snagu od jednoslojnih perceptrona (koji se nazivaju i jednoslojni perceptroni). Jednoslojni perceptron je sposoban da proučava samo linearno odvojive strukture. Godine 1969. poznata knjiga "Perceptroni" Marvina Minskyja i Seymoura Paperta pokazala je da ove klase mreža ne mogu naučiti funkciju XOR. Međutim, ovo se ne odnosi na funkcije nelinearne klasifikacije koje se mogu koristiti u jednoslojnom perceptronu.
Upotreba takvih funkcija proširuje mogućnosti perceptrona, uključujući implementaciju XOR funkcije. Često se pretpostavlja (pogrešno) da su također pretpostavili da bi sličan rezultat vrijedio za višeslojnu perceptronsku mrežu. Međutim, to nije slučaj, budući da su i Minsky i Papert već znali da su višeslojni perceptroni sposobni da proizvedu funkciju XOR. Tri godine kasnije, Steven Grossberg je objavio seriju radova u kojima su predstavljene mreže sposobne za modeliranje diferencijalnih funkcija, funkcija poboljšanja kontrasta i XOR funkcija.
Djela su objavljena 1972. i 1973. godine. Međutim, često zanemareni tekst Minsky/Papert izazvao je značajan pad interesovanja i finansiranja istraživanja pomoću perceptrona neuronske mreže. Prošlo je još deset godina prije nego što je istraživanje neuronskih mreža oživljeno 1980-ih.
Karakteristike
Perceptron kernel algoritam su predstavili 1964. godine Yzerman et al. Mori i Rostamizadeh (2013), koji proširuju prethodne rezultate i daju nove granice L1.
Perceptron je pojednostavljeni model biološkog neurona. Iako je složenost bioloških neuronskih modela često potrebna za potpuno razumijevanje neuralnog ponašanja, istraživanja pokazuju da linearni model sličan perceptronu može inducirati neke od ponašanja koje se mogu vidjeti u stvarnim neuronima.
Perceptron je linearni klasifikator, tako da nikada neće doći u stanje sa svim ulaznim vektorima ispravno klasifikovanim ako skup za obuku D nije linearno odvojiv, tj. ako se pozitivni primjeri ne mogu odvojiti od negativnih primjera hiperravninom. U ovom slučaju, nijedno "približno" rješenje neće korak po korak kroz standardni algoritam učenja, umjesto toga učenje će u potpunosti propasti. Stoga, ako linearna odvojivost skupa za obuku nije poznata a priori, treba koristiti jednu od donjih opcija obuke.
Džepni algoritam
Pocket algoritam rješava problem otpornosti učenja perceptrona zadržavajući najbolje rješenje do sada pronađeno "u džepu". Pocket algoritam tada vraća rješenje u džep umjesto posljednjeg rješenja. Također se može koristiti za nerazdvojive skupove podataka gdje je cilj pronaći perceptron sa nekoliko pogrešnih klasifikacija. Međutim, ova rješenja izgledaju stohastički i stoga im džepni algoritam ne odgovara.postepeno tokom treninga i nije garantovano da će biti otkriveni tokom određenog broja koraka obuke.
Maxover algoritam
Maxoverov algoritam je "robustan" u smislu da će konvergirati bez obzira na znanje o linearnoj odvojivosti skupa podataka. U slučaju linearne podjele, ovo će riješiti problem učenja, opciono čak i uz optimalnu stabilnost (maksimalna margina između klasa). Za skupove podataka koji se ne mogu odvojiti, biće vraćeno rešenje sa malim brojem pogrešnih klasifikacija. U svim slučajevima, algoritam se postepeno približava rješenju tokom procesa učenja, bez pamćenja prethodnih stanja i bez slučajnih skokova. Konvergencija leži u globalnoj optimalnosti za zajedničke skupove podataka i lokalnoj optimalnosti za nerazdvojive skupove podataka.
Glasani Perceptron
Izglasani perceptron algoritam je varijanta koja koristi više ponderiranih perceptrona. Algoritam pokreće novi perceptron svaki put kada je primjer pogrešno klasifikovan, inicijalizirajući vektor težine konačnim težinama posljednjeg perceptrona. Svaki perceptron će također dobiti različitu težinu koja odgovara broju primjera koji su ispravno klasificirali prije nego što pogrešno klasifikuju jedan, a na kraju će rezultat biti ponderisani glas za cijeli perceptron.
Prijava
U odvojivim problemima, obuka perceptrona također može biti usmjerena na pronalaženje najveće granice razdvajanja između klasa. TakozvaniOptimalni perceptron stabilnosti može se odrediti korištenjem iterativnog treninga i šema optimizacije kao što su Min-Over ili AdaTron algoritam. AdaTron koristi činjenicu da je odgovarajući problem kvadratne optimizacije konveksan. Optimalni perceptron stabilnosti, zajedno sa trikom kernela, je konceptualna osnova mašine za podršku vektorima.
Alternativa
Drugi način rješavanja nelinearnih problema bez korištenja više slojeva je korištenje mreža višeg reda (sigma-pi blok). U ovom tipu mreže, svaki element ulaznog vektora se proširuje svakom parnom kombinacijom pomnoženih ulaza (drugi red). Ovo se može proširiti na mrežu n reda. Perceptron je vrlo fleksibilna stvar.
Međutim, zapamtite da najbolji klasifikator nije nužno onaj koji tačno klasifikuje sve podatke o treningu. Zaista, ako smo imali prethodno ograničenje da podaci dolaze iz Gaussovih distribucija jednakih varijanti, linearna podjela u ulaznom prostoru je optimalna, a nelinearno rješenje je poništeno.
Drugi algoritmi linearne klasifikacije uključuju Winnow, vektor podrške i logističku regresiju. Perceptron je univerzalni skup algoritama.
Glavni opseg za učenje pod nadzorom
Učenje pod nadzorom je zadatak mašinskog učenja koji uči funkciju koja mapira ulaz u izlazna osnovu primjera I/O parova. Oni zaključuju osobinu iz označenih podataka o obuci koji se sastoje od skupa primjera. U nadziranom učenju, svaki primjer je par koji se sastoji od ulaznog objekta (obično vektora) i željene izlazne vrijednosti (koja se naziva i kontrolni signal).
Algoritam za učenje pod nadzorom analizira podatke o obuci i proizvodi procijenjenu funkciju koja se može koristiti za prikaz novih primjera. Optimalni scenario bi omogućio algoritmu da ispravno odredi oznake klasa za nevidljive instance. Ovo zahtijeva da algoritam učenja generalizira podatke učenja na nevidljive situacije na "razuman" način.
Paralelni zadatak u psihologiji ljudi i životinja često se naziva konceptualnim učenjem.
