Begrip van AI en enkele belangrijke terminologieën

Bij het voorbereiden van dit boek heb ik geworsteld met wat de ‘verantwoordelijke’ zaak is voor mij om te doen als auteur van een boek over AI. De conventionele aanpak is om een korte uitleg van de wetenschap te geven en een overzicht van veelgebruikte termen.

Dat ga ik niet doen.

Ik ga hier een paar externe links aanbieden naar wat ik denk dat redelijk begrijpelijke korte beschrijvingen zijn van AI-basisprincipes.

Wat is de toekomst van AI?: McKinsey & Co. (april 2024) heeft een goede set uitleggen.

Evenzo is Gartner’s Generatieve AI (ongedateerd) niet slecht.

Futurepedia biedt een niet-slechte samenvatting van AI Fundamentals (mei 2024)

Nu ik de how-to heb afgehandeld, ga ik enkele termen introduceren die ik waardevol vind om te begrijpen. Niet omdat je ze moet kennen om de software te gebruiken. Alleen dat deze set termen verwijst naar enkele belangrijke aspecten van hoe de huidige generatie AI daadwerkelijk werkt.

Mijn gebruikssituatie voor het aanpakken van deze termen en concepten is auteurs en uitgevers die (i) een niveau dieper willen gaan op AI, om welke reden dan ook, of (ii) de context van de huidige kritiek op AI willen begrijpen, of (iii) willen bijdragen aan strategische discussies over hoe hun collega’s of organisaties AI zouden moeten benaderen.

Met andere woorden, dit is niet wat je moet weten, maar eerder wat je misschien leuk vindt om te weten. Hier zijn ze, in niet-alfabetische volgorde:

Je kunt Chat AI-software openen en gewoon een vraag intypen, net zoals je momenteel op Google doet.

Grote Taalmodellen werken door enorme hoeveelheden (voornamelijk) geschreven materiaal te analyseren, waardoor ze kunnen voorspellen welke woorden of zinnen vervolgens in een gesprek of een stuk tekst zouden moeten komen. Ze ‘begrijpen’ taal niet in de menselijke zin, maar verwerken tekst door deze op te splitsen in kleinere stukjes (tokens genoemd) en deze tokens vervolgens om te zetten in cijfers. Ze verwerken de tekst als cijfers, braken meer cijfers uit, die vervolgens bij de uitvoer weer in tekst worden omgezet. Dat is een sterk vereenvoudigde uitleg van waarom Chat AI geen auteursrechtelijk beschermd werk ‘bevat’: het is gebouwd met cijfers die een enorme abstractie vertegenwoordigen van de onderliggende teksten.

LLM’s worden getraind op hoe taal typisch wordt gebruikt en genereren vervolgens reacties op basis van dit begrip. We onderschatten vaak hoe voorspelbaar de meeste taal is. Chat AI kan tekst genereren die (soms schokkend) lijkt op bestaande literatuur, maar het heeft van nature niet de mogelijkheid om specifieke fragmenten of kopieën van auteursrechtelijk beschermde teksten op te halen. (Ik weet dat velen van jullie hebben gehoord over de rechtszaak van de New York Times tegen OpenAI - de Times slaagde erin ChatGPT enkele gedeelten van eerder gepubliceerde artikelen letterlijk te laten herhalen.)

Het belangrijkste om deze term te begrijpen is het “generatieve” deel. Generatieve AI genereert nieuwe tekst.

Dit, de nerdigste van de terminologie hier, beschrijft een specifiek type LLM ontwikkeld door OpenAI. “Generatief” duidt op zijn vermogen om tekst te creëren, “voorgetraind” betekent dat het is getraind op een grote hoeveelheid tekstgegevens, en “transformer” verwijst naar de software die het gebruikt. Het is alleen nuttig om te weten waar GPT voor staat, zodat je begrijpt wat de GPT in ChatGPT vertegenwoordigt.

ChatGPT is de software die je ziet; GPT is wat achter de software zit. Gebruikers ervaren ChatGPT, niet de GPT erachter. Zoals hierboven vermeld, is ChatGPT slechts een van de vele Chat AI online software systemen met vergelijkbare functionaliteit.

Een andere term die je vaak tegenkomt en die voor velen onbekend is:

De woordenboekdefinitie van corpus is “een verzameling geschreven teksten” (hoewel het in feite niet altijd tekst is). De term wordt gebruikt in verwijzing naar waar GPT’s op zijn getraind: enorme corpussen van (voornamelijk) tekst. Er wordt ons verteld dat de grootste corpussen honderden miljarden woorden bevatten. Voor gewone stervelingen is dat onmogelijk te bevatten. Denk je niet dat Wikipedia enorm is, met een groot aantal woorden? Welnu, er staan slechts 4,5 miljard woorden in Wikipedia - GPT-4 is getraind op ruim een triljoen.

Ik denk dat het belangrijk is om deze schaal in overweging te nemen. Auteurs maken zich begrijpelijkerwijs zorgen dat de 75.000 woorden, plus of min, in hun boek mogelijk zijn opgenomen in een groot taalmodel. Misschien is dat zo (meer hierover later). Maar ervan uitgaande dat dit het geval is, bedenk hoe weinig waarde elk boek heeft voor de totale kracht van de huidige grote taalmodellen. Het is echt onbeduidend. Zelfs 10.000 boeken zijn klein bier.