Razumijevanje AI-a i nekih ključnih termina

Pripremajući ovu knjigu, borio sam se s tim šta je ‘odgovorno’ uraditi kao autor knjige o AI-u. Konvencionalni pristup je dati kratko objašnjenje nauke i pregled često korištenih termina.

Neću to učiniti.

Ovdje ću ponuditi nekoliko vanjskih linkova na ono što smatram razumno razumljivim kratkim opisima osnova AI-a.

Kakva je budućnost AI-a?: McKinsey & Co. (april, 2024) ima dobar set objašnjenja.

Takođe Gartnerov Generativni AI (nedatirano) nije loš.

Futurepedia nudi dobar sažetak Osnove AI-a (maj, 2024)

Pošto sam se riješio kako-to, sada ću uvesti nekoliko termina za koje mislim da ih je vrijedno razumjeti. Ne zato što ih morate znati da biste koristili softver. Samo zato što ovaj set termina referencira neke ključne aspekte kako trenutna generacija AI-a zapravo funkcioniše.

Moja upotreba ovih termina i koncepata je za autore i izdavače koji (i) žele ići dublje u AI, iz bilo kojeg razloga, ili (ii) žele razumjeti kontekst trenutnih kritika AI-a, ili (iii) žele doprinijeti strateškim raspravama o tome kako njihovi kolege ili organizacije trebaju pristupiti AI-u.

Drugim riječima, ovo nije ono što trebate znati, već ono što biste možda željeli znati. Evo ih, neabecednim redom:

Možete otvoriti Chat AI softver i jednostavno upisati pitanje, baš kao što to trenutno radite na Google-u.

Veliki jezički modeli rade analizirajući ogromne količine (uglavnom) pisanog materijala, omogućujući im da predviđaju koje riječi ili rečenice trebaju slijediti u razgovoru ili pisanju. Oni ne ‘razumiju’ jezik u ljudskom smislu, već obrađuju tekst razbijajući ga na manje dijelove (koji se zovu tokeni), a zatim pretvaraju tokene u brojeve. Tekst obrađuju kao brojeve, regurgitirajući više brojeva koji se zatim pretvaraju natrag u tekst pri izlazu. To je previše pojednostavljeno objašnjenje zašto Chat AI ne ‘sadrži’ zaštićena autorska djela: izgrađen je od brojeva koji predstavljaju ogromnu apstrakciju od osnovnih tekstova.

LLM-ovi su obučeni na osnovu toga kako se jezik tipično koristi i zatim generiraju odgovore na osnovu tog razumijevanja. Skloni smo podcijeniti koliko je većina jezika predvidiva. Chat AI može generirati tekst koji je (ponekad šokantno) sličan postojećoj literaturi, ali, po dizajnu, nema sposobnost da preuzima specifične izvatke ili kopije zaštićenih tekstova. (Znam, mnogi od vas su čuli za tužbu New York Timesa protiv OpenAI-a—Times je uspio natjerati ChatGPT da regurgitira neke dijelove prethodno objavljenih članaka doslovno.)

Najvažnija stvar koju treba razumjeti kod ovog termina je “generativna” komponenta. Generativna AI generira novi tekst.

Ovo, najviše nerdovski termin ovdje, opisuje specifičan tip LLM-a razvijenog od strane OpenAI-a. “Generativno” označava njegovu sposobnost kreiranja teksta, “unaprijed obučeni” znači da je obučavan na velikom tijelu tekstualnih podataka, a “transformator” se odnosi na softver koji koristi. Znati što GPT označava pomaže samo da razumijete što GPT u ChatGPT-u predstavlja.

ChatGPT je softver koji vidite; GPT je ono što stoji iza softvera. Korisnici doživljavaju ChatGPT, a ne GPT iza njega. Kao što je gore navedeno, ChatGPT je samo jedan od nekoliko Chat AI online softverskih sistema sa sličnom funkcionalnošću.

Još jedan termin koji ćete često susretati, a koji je mnogima nepoznat, je:

Rječnična definicija korpusa je “zbirka pisanih tekstova” (iako, zapravo, nije uvijek tekst). Termin se koristi u referencama na ono na čemu su GPT-i obučavani: ogromni korpusi (uglavnom) teksta. Rečeno nam je da najveći korpusi sadrže stotine milijardi riječi. Za obične smrtnike to je nemoguće shvatiti. Ne mislite li da je Wikipedia ogromna, sadržeći ogroman broj riječi? Pa, Wikipedia sadrži samo 4,5 milijardi riječi—GPT-4 je obučavan na više od trilion riječi.

Mislim da je važno razmotriti ovu skalu. Autori, razumljivo, brinu da je 75.000 riječi, više ili manje, u njihovoj knjizi možda uvučeno u veliki jezički model. Možda i jeste (više o tome kasnije). Ali ako pretpostavimo da je to slučaj, razmislite koliko malo vrijedi bilo koja knjiga za ukupnu snagu današnjih velikih jezičkih modela. To je zaista neznatno. Čak i 10.000 knjiga je sitnica.