Comprendre l’IA et quelques termes clés

En préparant ce livre, je me suis demandé ce qui était “responsable” pour moi en tant qu’auteur d’un livre sur l’IA. L’approche conventionnelle consiste à fournir une courte explication de la science et un examen des termes fréquemment utilisés.

Je ne vais pas faire cela.

Je vais offrir ici quelques liens externes vers ce que je pense être des descriptions courtes et raisonnablement compréhensibles des bases de l’IA.

Quel est l’avenir de l’IA ? : McKinsey & Co. (avril, 2024) a un bon ensemble d’explications.

De même, Gartner’s Generative AI (non daté) n’est pas mal.

Futurepedia offre un résumé pas mal de AI Fundamentals (mai, 2024)

Ayant éliminé le comment-faire, je vais maintenant introduire quelques termes que je pense qu’il est utile de comprendre. Non pas parce que vous avez besoin de les connaître pour utiliser le logiciel. Seulement parce que cet ensemble de termes fait référence à certains aspects clés de la façon dont la génération actuelle d’IA fonctionne réellement.

Mon plan pour aborder ces termes et concepts est destiné aux auteurs et éditeurs qui (i) veulent aller un niveau plus profond sur l’IA, pour une raison quelconque, ou (ii) veulent comprendre le contexte des critiques actuelles de l’IA, ou (iii) veulent contribuer aux discussions stratégiques sur la manière dont leurs collègues ou organisations devraient aborder l’IA.

En d’autres termes, ce n’est pas ce que vous devez savoir, mais plutôt ce que vous pourriez aimer savoir. Les voici, dans un ordre non alphabétique :

Vous pouvez ouvrir un logiciel de Chat AI et simplement taper une question, tout comme vous le faites actuellement sur Google.

Les Modèles de Langage de Grande Taille fonctionnent en analysant d’énormes quantités de matériel (principalement) écrit, leur permettant de prédire quels mots ou phrases devraient suivre dans une conversation ou un texte. Ils ne ‘comprennent’ pas le langage au sens humain, mais traitent le texte en le décomposant en plus petits morceaux (appelés tokens), puis en convertissant les tokens en nombres. Ils traitent le texte sous forme de nombres, régurgitant d’autres nombres, qui sont ensuite reconvertis en texte en sortie. C’est une explication simplifiée de pourquoi le Chat AI ne ‘contient’ pas de travaux protégés par des droits d’auteur : il est construit avec des nombres qui représentent une vaste abstraction des textes sous-jacents.

Les LLM sont formés sur la façon dont le langage est typiquement utilisé et génèrent ensuite des réponses basées sur cette compréhension. Nous avons tendance à sous-estimer à quel point la plupart des langages sont prévisibles. Le Chat AI peut générer du texte qui est (parfois étonnamment) similaire à la littérature existante, mais, par conception, il n’a pas la capacité de récupérer des extraits spécifiques ou des copies de textes protégés par des droits d’auteur. (Je sais, beaucoup d’entre vous ont entendu parler du procès du New York Times contre OpenAI—le Times a pu faire régurgiter à ChatGPT certaines portions d’articles publiés précédemment mot pour mot.)

La chose la plus importante à comprendre dans ce terme est la partie “générative”. L’IA Générative génère du nouveau texte.

Ceci, le terme le plus technique ici, décrit un type spécifique de LLM développé par OpenAI. “Génératif” indique sa capacité à créer du texte, “pré-entraîné” signifie qu’il a été formé sur un large corpus de données textuelles, et “transformateur” se réfère au logiciel qu’il utilise. Savoir ce que signifie GPT est utile uniquement pour comprendre ce que représente le GPT dans ChatGPT.

ChatGPT est le logiciel que vous voyez ; GPT est ce qui est derrière le logiciel. Les utilisateurs expérimentent ChatGPT, pas le GPT derrière lui. Comme mentionné ci-dessus, ChatGPT est juste l’un des nombreux logiciels de Chat AI en ligne, avec des fonctionnalités similaires.

Un autre terme que vous rencontrerez fréquemment et qui est inconnu de beaucoup est :

La définition du dictionnaire de corpus est “une collection de textes écrits” (bien qu’en fait, ce ne soit pas toujours du texte). Le terme est utilisé en référence à ce sur quoi les GPT sont formés : de vastes corpus de textes (principalement). On nous dit que les plus grands corpus contiennent des centaines de milliards de mots. Pour les simples mortels, c’est impossible à comprendre. Ne pensez-vous pas que Wikipédia est énorme, contenant un nombre immense de mots ? Eh bien, il y a à peine 4,5 milliards de mots dans Wikipédia - GPT-4 a été formé sur bien plus d’un trillion.

Je pense qu’il est important de considérer cette échelle. Les auteurs, de manière compréhensible, s’inquiètent que les 75 000 mots, plus ou moins, de leur livre aient pu être aspirés dans un grand modèle de langage. Peut-être qu’ils l’ont été (plus de détails ci-dessous). Mais en supposant que ce soit le cas, considérez à quel point chaque livre a peu de valeur pour la puissance totale des modèles de langage actuels. C’est vraiment insignifiant. Au-delà de l’insignifiant. Même 10 000 livres sont une goutte d’eau.