Zrozumienie SI i kluczowe terminy

Przygotowując tę książkę, zmagałem się z tym, co jest ‘odpowiedzialne’ dla mnie jako autora książki o SI. Konwencjonalne podejście polega na dostarczeniu krótkiego wyjaśnienia nauki i przeglądu często używanych terminów.

Nie zamierzam tego robić.

Oferuję tu kilka zewnętrznych linków do tego, co uważam za dość zrozumiałe krótkie opisy podstaw SI.

Jaka jest przyszłość SI?: McKinsey & Co. (kwiecień, 2024) ma dobry zestaw wyjaśnień.

Podobnie, Generative AI według Gartnera (bez daty) nie jest zły.

Futurepedia oferuje niezłe podsumowanie AI Fundamentals (maj, 2024)

Po omówieniu instrukcji, teraz przedstawię kilka terminów, które uważam za wartościowe do zrozumienia. Nie dlatego, że musisz je znać, aby używać oprogramowania. Tylko dlatego, że ten zestaw terminów odnosi się do kluczowych aspektów działania obecnej generacji AI.

Moim przypadkiem użycia przy omawianiu tych terminów i koncepcji są autorzy i wydawcy, którzy (i) chcą zagłębić się w AI, z jakiegokolwiek powodu, (ii) chcą zrozumieć kontekst obecnych krytyk AI, lub (iii) chcą wnieść wkład w strategiczne dyskusje na temat tego, jak ich koledzy lub organizacje powinny podejść do AI.

Innymi słowy, to nie jest to, co musisz wiedzieć, ale raczej to, co możesz chcieć wiedzieć. Oto one, w niealfabetycznym porządku:

Możesz otworzyć oprogramowanie Chat AI i po prostu wpisać pytanie, bardzo podobnie jak teraz robisz to na Google.

Duże Modele Językowe działają, analizując ogromne ilości (głównie) materiału pisanego, co pozwala im przewidywać, jakie słowa lub zdania powinny pojawić się następnie w rozmowie lub w tekście. Nie ‘rozumieją’ języka w ludzkim sensie, zamiast tego przetwarzają tekst, dzieląc go na mniejsze części (zwane tokenami), a następnie przekształcając tokeny w liczby. Przetwarzają tekst jako liczby, zwracając więcej liczb, które są następnie przekształcane z powrotem w tekst na wyjściu. To jest nadmiernie uproszczone wyjaśnienie, dlaczego Chat AI nie ‘zawiera’ chronionych prawem autorskim prac: jest zbudowany z liczb, które reprezentują ogromną abstrakcję od podstawowych tekstów.

LLM są szkolone na podstawie tego, jak język jest zazwyczaj używany, a następnie generują odpowiedzi na podstawie tego zrozumienia. Zwykle nie doceniamy, jak przewidywalny jest większość języka. Chat AI może generować tekst, który jest (czasami szokująco) podobny do istniejącej literatury, ale z założenia nie ma zdolności do przywoływania konkretnych fragmentów lub kopii chronionych prawem autorskim tekstów. (Wiem, wielu z was słyszało o pozwie New York Times przeciwko OpenAI—Times udało się skłonić ChatGPT do odtworzenia niektórych fragmentów wcześniej opublikowanych artykułów dosłownie).

Najważniejsza rzecz, aby zrozumieć ten termin, to część “generatywna”. Sztuczna inteligencja generatywna generuje nowy tekst.

To, najbardziej nerdowskie z terminów tutaj, opisuje konkretny typ LLM opracowany przez OpenAI. “Generative” wskazuje na jego zdolność do tworzenia tekstu, “pre-trained” oznacza, że został wstępnie wytrenowany na dużej ilości danych tekstowych, a “transformer” odnosi się do oprogramowania, które wykorzystuje. Znajomość tego, co oznacza GPT, jest pomocna tylko po to, aby zrozumieć, co GPT reprezentuje w ChatGPT.

ChatGPT to oprogramowanie, które widzisz; GPT to to, co jest za oprogramowaniem. Użytkownicy doświadczają ChatGPT, a nie GPT za nim stojącego. Jak wspomniano powyżej, ChatGPT jest tylko jednym z kilku systemów Chat AI online, o podobnej funkcjonalności.

Jeszcze jeden termin, który będziesz często spotykać, a który jest nieznany wielu osobom, to:

Definicja słownikowa korpusu to “zbiór tekstów pisanych” (choć w rzeczywistości nie zawsze są to teksty). Termin ten jest używany w odniesieniu do tego, na czym GPT są trenowane: ogromnych korpusów (głównie) tekstu. Mówi się, że największe korpusy zawierają setki miliardów słów. Dla zwykłych śmiertelników to niemożliwe do pojęcia. Czy nie uważasz, że Wikipedia jest ogromna, zawierająca ogromną liczbę słów? Cóż, w Wikipedii jest jedynie 4,5 miliarda słów – GPT-4 został wytrenowany na ponad bilionie.

Myślę, że ważne jest rozważenie tej skali. Autorzy, co zrozumiałe, martwią się, że 75,000 słów, plus minus, w ich książce mogło zostać wciągnięte do dużego modelu językowego. Może tak się stało (więcej poniżej). Ale zakładając, że tak jest, rozważ, jak małą wartość ma jakakolwiek pojedyncza książka dla całkowitej mocy dzisiejszych dużych modeli językowych. To naprawdę nieistotne. Nawet 10,000 książek to drobnostka.