Pre nekoliko decenija, naučnici su mogli samo da sanjaju o automatizaciji lingvističkih istraživanja. Posao je rađen ručno, u njega je bio uključen veliki broj učenika, postojala je značajna vjerovatnoća greške „nepažnje“, a što je najvažnije, sve je to oduzimalo puno, puno vremena.
Razvojom kompjuterske tehnologije postalo je moguće mnogo brže sprovoditi istraživanja, a danas je jedno od obećavajućih oblasti u proučavanju jezika korpusna lingvistika. Njegova glavna karakteristika je korištenje velikih količina tekstualnih informacija, konsolidiranih u jedinstvenu bazu podataka, označenih na poseban način i nazvanih korpus.
Danas postoje mnogi korpusi stvoreni za različite svrhe, zasnovani na različitom jezičkom materijalu, koji pokrivaju od miliona do desetina milijardi leksičkih jedinica. Ovaj pravac je prepoznat kao obećavajući i pokazuje značajan napredak u postizanju primijenjenih i istraživačkih ciljeva. Profesionalci, na ovaj ili onaj način se baveprirodni jezik, preporučuje se da se upoznate sa korpusima teksta barem na osnovnom nivou.
Istorija korpusne lingvistike
Formiranje ovog pravca povezano je sa stvaranjem Brown Corps-a u SAD početkom 60-ih godina prošlog veka. Zbirka tekstova se sastojala od samo milion oblika riječi, a danas bi korpus takvog obima bio potpuno nekonkurentan. To je uglavnom zbog tempa razvoja kompjuterske tehnologije, kao i sve veće potražnje za novim istraživačkim resursima.
Devedesetih godina korpusna lingvistika se formirala u punopravnu i nezavisnu disciplinu, zbirke tekstova su sastavljane i označavane za nekoliko desetina jezika. Tokom ovog perioda, na primjer, stvoren je Britanski nacionalni korpus za 100 miliona upotrebe riječi.
Kako se ovaj pravac lingvistike razvija, obim tekstova postaje sve veći (i dostiže milijarde jedinica vokabulara), a oznaka postaje sve raznovrsnija. Danas se u internet prostoru mogu pronaći korpusi pisanog i usmenog govora, višejezičnog i edukativnog, fokusiranog na beletrističku ili akademsku literaturu, kao i mnoge druge varijante.
Koji slučajevi postoje
Tipovi korpusa u korpusnoj lingvistici mogu se predstaviti na nekoliko načina. Intuitivno je jasno da osnova za klasifikaciju može biti jezik tekstova (ruski, nemački), način pristupa (otvoreni, zatvoreni, komercijalni), žanr izvornog materijala (fikcija).književnost, dokumentarni, akademski, novinarski).
Na zanimljiv način se vrši generiranje materijala koji predstavljaju usmeni govor. Budući da bi namjerno snimanje ovakvog govora stvaralo vještačke uslove za ispitanike, a materijal koji nastaje ne bi se mogao nazvati „spontanim“, savremena korpusna lingvistika je otišla drugim putem. Volonter je opremljen mikrofonom, a tokom dana se snimaju svi razgovori u kojima učestvuje. Okruženi, naravno, ne mogu znati da u svakodnevnom razgovoru doprinose razvoju nauke.
Kasnije, primljeni audio snimci se pohranjuju u banku podataka i popraćeni su odštampanim tekstom poput transkripta. Na ovaj način postaje moguće označavanje potrebno za stvaranje korpusa govornog svakodnevnog govora.
Prijava
Tamo gdje je moguće koristiti jezik, moguće je koristiti i korpuse teksta. Svrha upotrebe korpusnih metoda u lingvistici može biti:
- Kreiranje programa za raspoloženje koji se široko koriste u politici i biznisu za praćenje pozitivnih i negativnih povratnih informacija od glasača i kupaca.
- Povezivanje informacionog sistema sa rječnicima i prevodiocima radi poboljšanja njihovog učinka.
- Različiti istraživački zadaci koji doprinose razumijevanju strukture jezika, historije njegovog razvoja i predviđanja njegove promjene u bliskoj budućnosti.
- Razvoj sistema za ekstrakciju informacija zasnovanih na morfološkim,sintaktičke, semantičke i druge karakteristike.
- Optimizacija rada raznih lingvističkih sistema itd.
Upotreba školjki
Sučelje resursa je slično tipičnom pretraživaču i traži od korisnika da unese neku riječ ili kombinaciju riječi za pretraživanje baze podataka. Pored tačnog obrasca zahtjeva, možete koristiti proširenu verziju, koja vam omogućava da pronađete tekstualne informacije po gotovo svim lingvističkim kriterijima.
Osnova za pretragu može biti:
- pripadati određenoj grupi dijelova govora;
- gramatičke karakteristike;
- semantika;
- stilsko i emocionalno obojenje.
Također, možete kombinirati kriterije pretraživanja za niz riječi: na primjer, pronaći sve pojave glagola u sadašnjem vremenu, prvom licu, jednini nakon čega slijedi prijedlog "in" i imenica u akuzativu. Rješavanje ovako jednostavnog zadatka oduzima korisniku nekoliko sekundi i zahtijeva samo nekoliko klikova mišem u zadatim poljima.
Proces kreiranja
Samo pretraživanje se može vršiti kako u svim potkorpusima, tako iu jednom, posebno odabranom, u zavisnosti od potreba prilikom postizanja određenog cilja:
- Pre svega, određuje se koji će tekstovi činiti osnovu korpusa. U praktične svrhe često se koriste novinarski, novinski materijali, internet komentari. U istraživačkim projektima najvišerazne vrste korpusa, ali tekstovi moraju biti odabrani na nekoj zajedničkoj osnovi.
- Rezultirajući skup tekstova je prethodno obrađen, greške se ispravljaju, ako ih ima, priprema se bibliografski i ekstralingvistički opis teksta.
- Sve netekstualne informacije se filtriraju: grafike, slike, tabele se brišu.
- Tokeni, obično riječi, se dodjeljuju za dalju obradu.
- Na kraju se vrši morfološko, sintaktičko i drugo označavanje rezultirajućeg skupa elemenata.
Rezultat svih izvedenih operacija je sintaktička struktura sa skupom elemenata raspoređenih po njoj, za svaki od kojih je definisan dio govora, gramatička i, u nekim slučajevima, semantička karakteristika.
Poteškoće u kreiranju slučajeva
Važno je shvatiti da za dobijanje korpusa nije dovoljno sastaviti puno riječi ili rečenica. S jedne strane, zbirka tekstova mora biti uravnotežena, odnosno, u određenim omjerima predstaviti različite vrste tekstova. S druge strane, sadržaj kofera mora biti posebno označen.
Prvo pitanje se rješava dogovorom: na primjer, zbirka obuhvata 60% igranih tekstova, 20% dokumentarnih filmova, određeni udio se daje pisanom izlaganju usmenog govora, zakonskih akata, naučnih radova itd. Idealan recept za uravnotežen korpus danas ne postoji.
Drugo pitanje u vezi sa označavanjem sadržaja je teže riješiti. Postoje posebni programi i algoritmi koji se koriste za automatsko označavanje tekstova, ali oni ne daju 100% rezultat, mogu uzrokovati kvarove i zahtijevaju ručno usavršavanje. Mogućnosti i problemi u rješavanju ovog problema detaljno su opisani u radu V. P. Zakharova o korpusnoj lingvistici.
Označavanje teksta se vrši na nekoliko nivoa, koje ćemo navesti u nastavku.
Morfološka oznaka
Iz školske klupe sećamo se da u ruskom jeziku postoje različiti delovi govora, a svaki od njih ima svoje karakteristike. Na primjer, glagol ima kategorije raspoloženja i vremena koje imenica nema. Izvorni govornik bez oklijevanja odbacuje imenice i konjugira glagole, ali ručni rad nije prikladan za obilježavanje korpusa od 100 miliona riječi. Sve potrebne operacije može da obavi kompjuter, ali za to ga treba naučiti.
Morfološka oznaka je neophodna da bi računar "razumeo" svaku reč kao neki deo govora koji ima određene gramatičke karakteristike. Budući da u ruskom (kao i na svakom drugom) jeziku funkcionišu brojna regularna pravila, moguće je izgraditi automatsku proceduru za morfološku analizu postavljanjem određenog broja algoritama u mašinu. Međutim, postoje izuzeci od pravila, kao i razni faktori koji komplikuju. Kao rezultat toga, čista kompjuterska analiza danas je daleko od idealne, a čak 4% grešaka daje vrijednost od 4 miliona riječi u korpusu od 100 miliona jedinica, što zahtijeva ručno preciziranje.
Ovaj problem je detaljno opisan u knjizi V. P. Zakharova "Korpusna lingvistika".
Sintaktička oznaka
Sintaktička analiza ili raščlanjivanje je postupak koji određuje odnos riječi u rečenici. Uz pomoć skupa algoritama postaje moguće odrediti subjekt, predikat, dodatke i različite okrete govora u tekstu. Otkrivajući koje su riječi u nizu glavne, a koje zavisne, možemo efikasno izvući informacije iz teksta i obučiti mašinu da vraća samo informacije koje nas zanimaju kao odgovor na zahtjev za pretraživanje.
Uzgred, moderni pretraživači koriste ovo da daju određene brojeve umjesto dugačkih tekstova kao odgovor na relevantne upite poput: "koliko kalorija ima jabuka" ili "udaljenost od Moskve do Sankt Peterburga". Međutim, da biste razumjeli čak i same osnove opisanog procesa, morat ćete se upoznati sa "Uvodom u korpusnu lingvistiku" ili drugim osnovnim udžbenikom.
Semantička oznaka
Semantika riječi je, jednostavno rečeno, njeno značenje. Široko primjenjiv pristup u semantičkoj analizi je pripisivanje oznaka riječi, što odražava njenu pripadnost skupu semantičkih kategorija i potkategorija. Takve informacije su vrijedne za optimizaciju algoritama analize sentimenta teksta, automatsko referenciranje i obavljanje drugih zadataka korištenjem metoda korpusne lingvistike.
Postoji niz "korijena" drveta, koji su apstraktne riječi koje imajuveoma široka semantika. Kako se ovo stablo grana, formiraju se čvorovi koji sadrže sve više specifičnih leksičkih elemenata. Na primjer, riječ "stvorenje" može se povezati s konceptima kao što su "čovek" i "životinja". Prva riječ će se i dalje granati na razne profesije, pojmove srodstva, nacionalnosti, a druga - na klase i vrste životinja.
Upotreba sistema za pronalaženje informacija
Sfere upotrebe korpusne lingvistike pokrivaju širok spektar područja djelovanja. Korpusi se koriste za sastavljanje i ispravljanje rečnika, kreiranje sistema za automatsko prevođenje, sažimanje, izdvajanje činjenica, određivanje raspoloženja i drugu obradu teksta.
Osim toga, takvi resursi se aktivno koriste u proučavanju svjetskih jezika i mehanizama funkcioniranja jezika u cjelini. Pristup velikim količinama unapred pripremljenih informacija doprinosi brzom i sveobuhvatnom proučavanju trendova u razvoju jezika, formiranju neologizama i stabilnih govornih obrta, promenama u značenjima leksičkih jedinica, itd.
Pošto rad sa tako velikim količinama podataka zahteva automatizaciju, danas postoji bliska interakcija između računarske i korpusne lingvistike.
Nacionalni korpus ruskog jezika
Ovaj korpus (skraćeno NKRC) uključuje niz podkorpusa koji omogućavaju korištenje resursa za rješavanje širokog spektra zadataka.
Materijal u bazi podataka NCRA podijeljen je na:
- o publikacijama u medijima 90-ih i 2000-ihgodine, domaći i strani;
- snimci usmenog govora;
- akcentološki označeni tekstovi (tj. sa akcentima);
- dijalekatski govor;
- poetska djela;
- materijali sa sintaksičkim oznakama, itd.
Informacioni sistem takođe uključuje podkorpuse sa paralelnim prevodima dela sa ruskog na engleski, nemački, francuski i mnoge druge jezike (i obrnuto).
Također, baza podataka ima sekciju istorijskih tekstova koji predstavljaju pisani govor na ruskom jeziku u različitim periodima njegovog razvoja. Postoji i korpus obuke koji stranim državljanima može biti od koristi u savladavanju ruskog jezika.
Nacionalni korpus ruskog jezika obuhvata 400 miliona leksičkih jedinica i po mnogo čemu je ispred značajnog dela korpusa evropskih jezika.
Prospekti
Činjenica u prilog prepoznavanju ove oblasti kao perspektivne je prisustvo korpusnih lingvističkih laboratorija na ruskim univerzitetima, kao i na stranim. Uz korišćenje i istraživanje u okviru razmatranih resursa za pronalaženje informacija, povezan je razvoj nekih oblasti u oblasti visokih tehnologija, sistema pitanja-odgovora, ali o tome je bilo reči gore.
Predviđa se dalji razvoj korpusne lingvistike na svim nivoima, od tehničkog, u smislu uvođenja novih algoritama koji optimizuju procese pretraživanja i obrade informacija, širenja mogućnosti računara, povećanja operativnostimemorije, pa zaključno sa kućnim, jer korisnici pronalaze sve više načina da koriste ovu vrstu resursa u svakodnevnom životu i na poslu.
U zaključku
Sredinom prošlog veka, 2017. izgledala je kao daleka budućnost, u kojoj svemirske letelice surfaju prostranstvima Univerzuma, a roboti rade sav posao za ljude. U stvarnosti, međutim, nauka je puna "praznih tačaka" i čini očajničke pokušaje da odgovori na pitanja koja muče čovečanstvo vekovima. Pitanja funkcionisanja jezika ovdje zauzimaju ponosno mjesto, a korpusna i kompjuterska lingvistika nam mogu pomoći da odgovorimo na njih.
Obrada velike količine podataka omogućava vam da otkrijete obrasce koji su ranije bili nedostupni, predvidite razvoj određenih jezičkih karakteristika, pratite formiranje riječi gotovo u realnom vremenu.
Na praktičnom globalnom nivou, korpusi se mogu smatrati, na primjer, potencijalnim alatom za procjenu javnog raspoloženja - Internet je kontinuirano ažurirana baza podataka različitih tekstova koje kreiraju stvarni korisnici: to su komentari, recenzije, članci, i mnogi drugi oblici govora.
Osim toga, rad sa korpusima doprinosi razvoju istih tehničkih sredstava koja su uključena u pronalaženje informacija, poznatih sa Google ili Yandex servisa, mašinskog prevođenja, elektronskih rečnika.
Može se reći da korpusna lingvistika tek čini prve korake i da će se brzo razvijati u bliskoj budućnosti.
