Halucinacije: Muha u mast

Riječ godine za 2023. prema Cambridge Dictionary bila je “Halucinirati,” čija je definicija proširena kako bi uključila “Kada umjetna inteligencija… halucinira, ona proizvodi lažne informacije.” (Ostali dodaci u rječniku za 2023. uključuju “inženjering promptova,” “veliki jezički model,” i “GenAI.”)

Cambridge napominje da AI halucinacije “ponekad izgledaju besmisleno. Ali također mogu izgledati potpuno uvjerljivo–čak i dok su činjenično netačne ili u konačnici nelogične.” Ovo, nažalost, je prilično tačno, i od jula 2024. ostaje dramatično ograničenje za korištenje generativne AI za zadatke od ključne važnosti. To je jedna od nekoliko velikih neobičnosti AI, i ljudima treba vremena da to shvate. Zapamtite, generativna AI je uglavnom motor za predviđanje sljedeće riječi, a ne baza podataka činjenica. Otuda potreba za HITLs, Ljudi-u-petlji, kako smo sada poznati, koji dvostruko provjeravaju AI izlaz. I opet, nevjerovatno je da možemo dobiti takvu izvanrednu vrijednost od tehnologije koja može proizvesti dokazano netačan izlaz. Tako ide.

Gary Marcus, iskusni i dobro informirani kritičar AI, poredi AI halucinacije sa pokvarenim satovima, koji su tačni dva puta dnevno. “Nekad je tačan,” kaže on, “ali ne znaš koji dio vremena, i to značajno umanjuje njegovu vrijednost.”

Ethan Mollick, glavni govornik na konferenciji Publishers Weekly u septembru 2023., napominje da ljudi koji koriste AI očekuju 100% tačnost. Halucinacije, kaže, su slične “ljudskim stopama grešaka” koje svakodnevno tolerišemo.

Andrej Karpathy, poznati naučnik specijaliziran za AI, koji trenutno radi u OpenAI, piše o halucinacijama:

“Uvijek se malo borim kada me pitaju o ‘problemu halucinacija’ u LLM-ovima. Jer, na neki način, halucinacija je sve što LLM-ovi rade. Oni su mašine za sanjanje.

“Mi usmjeravamo njihove snove sa promptovima. Promptovi započinju san, i na osnovu nejasnog sjećanja LLM-a na njegove dokumente obuke, većinom vremena rezultat ide negdje korisno.

“Samo kada snovi zalaze u područje koje se smatra činjenično netačnim, mi to označavamo kao ‘halucinaciju.’ Izgleda kao greška, ali to je samo LLM koji radi ono što uvijek radi.”

Problem nije samo u izmišljanju stvari. Chat AI je duboko manjkav softver.

Za mnoge upite, posebno od početnika, odgovori su obični, van cilja ili jednostavno neupotrebljivi. Chat AI ima problema sa brojanjem: Pitajte ga za post od 500 riječi i bićete sretni ako dobijete 150.

I svaka od AI kompanija, kako bi smanjila pristranost i izbjegla odgovaranje na upite “kako napraviti bombu,” postavila je stroge sigurnosne ograde oko svojih proizvoda: suviše često, odgovor na pitanje je, u suštini, “Ne, neću to odgovoriti.” Pitao sam Google Gemini da pregleda nacrt ovog teksta i bio sam upozoren da “je neophodno dobiti odobrenje autora prije objavljivanja.”

Razmotrite ovo: Pitao sam četiri Chat AI-a da provjere slijedeće izjave:

• Od 2024. godine, postoji 6 velikih multinacionalnih izdavača sa sjedištem u New York City. Oni su poznati kao Velika 6.

• E-knjige i dalje dominiraju prodajom knjiga u Sjedinjenim Državama.

• Borders i Barnes & Noble su dva najveća lanca prodaje knjiga u Sjedinjenim Državama.

• Nakon pada prodaje tokom Covida, prodaja knjiga u SAD-u ponovo raste dvoznamenkastim stopama.

Svi su uočili greške u prvom tri izjave. Svaki od njih se malo zbunio na četvrtom, nesiguran u obimu porasta prodaje tokom Covida, i u kasnijim obrascima prodaje. To je mali, nereprezentativan eksperiment, ali ovi Chat AI, koji nisu namijenjeni biti činjenično zasnovani, mogu obaviti vjerodostojan posao procjene činjenica koje bi većina povremenih promatrača propustila.