Entendiendo la IA y Algunos Términos Clave

Al preparar este libro, he luchado con lo que es lo ‘responsable’ que debo hacer como autor de un libro sobre IA. El enfoque convencional es proporcionar una breve explicación de la ciencia y una revisión de los términos frecuentemente utilizados.

No voy a hacer eso.

Voy a ofrecer aquí algunos enlaces externos a lo que creo que son algunas descripciones breves razonablemente comprensibles de los conceptos básicos de la IA.

¿Cuál es el futuro de la IA?: McKinsey & Co. (abril, 2024) tiene un buen conjunto de explicaciones.

Asimismo, Generative AI (sin fecha) de Gartner no está mal.

Futurepedia ofrece un resumen no tan malo de Fundamentos de la IA (mayo, 2024)

Habiendo dejado de lado el cómo, ahora voy a introducir algunos términos que creo que es valioso entender. No porque necesites conocerlos para usar el software. Solo que este conjunto de términos hace referencia a algunos aspectos clave de cómo realmente opera la generación actual de IA.

Mi caso de uso para abordar estos términos y conceptos es para autores y editores que (i) quieran profundizar un nivel más en la IA, por cualquier razón, o (ii) quieran entender el contexto de las críticas actuales a la IA, o (iii) quieran contribuir a discusiones estratégicas sobre cómo sus colegas u organizaciones deben abordar la IA.

En otras palabras, esto no es lo que necesitas saber, sino más bien, lo que te gustaría saber. Aquí están, en un orden no alfabético:

Puedes abrir el software de Chat AI y simplemente escribir una pregunta, muy parecido a como lo haces actualmente en Google.

Los Modelos de Lenguaje Grande funcionan analizando enormes cantidades de material (principalmente) escrito, lo que les permite predecir qué palabras o frases deben venir a continuación en una conversación o un escrito. No ‘entienden’ el lenguaje en el sentido humano, sino que procesan el texto descomponiéndolo en piezas más pequeñas (llamadas tokens), y luego convierten los tokens en números. Procesan el texto como números, regurgitando más números, que luego se convierten nuevamente en texto al salir. Esa es una explicación demasiado simplificada de por qué Chat AI no ‘contiene’ trabajo con derechos de autor: está construido con números que representan una vasta abstracción de los textos subyacentes.

Los LLMs están entrenados en cómo se usa típicamente el lenguaje y luego generan respuestas basadas en esta comprensión. Tendemos a subestimar cuán predecible es la mayoría del lenguaje. Chat AI puede generar texto que es (a veces sorprendentemente) similar a la literatura existente, pero, por diseño, no tiene la capacidad de recuperar extractos específicos o copias de textos con derechos de autor. (Lo sé, muchos de ustedes han oído hablar de la demanda del New York Times contra OpenAI; el Times pudo lograr que ChatGPT regurgitara algunas porciones de artículos publicados anteriormente de manera literal.

Lo más importante para entender este término es la parte “generativa”. La IA Generativa genera nuevo texto.

Este, el término más nerd de aquí, describe un tipo específico de LLM desarrollado por OpenAI. “Generativo” indica su capacidad para crear texto, “preentrenado” significa que ha sido entrenado en una gran cantidad de datos textuales, y “transformador” hace referencia al software que utiliza. Saber qué significa GPT es útil solo para que entiendas qué representa el GPT en ChatGPT.

ChatGPT es el software que ves; GPT es lo que está detrás del software. Los usuarios experimentan ChatGPT, no el GPT detrás de él. Como se mencionó anteriormente, ChatGPT es solo uno de varios sistemas de software de Chat AI en línea, con funcionalidades similares.

Un término más que encontrarás frecuentemente y que es desconocido para muchos es:

La definición de diccionario de corpus es “una colección de textos escritos” (aunque, de hecho, no siempre es texto). El término se usa en referencia a lo que los GPTs están entrenados: vastos corpus de (principalmente) texto. Se nos dice que los corpus más grandes contienen cientos de miles de millones de palabras. Para los simples mortales eso es imposible de comprender. ¿No piensas en Wikipedia como enorme, conteniendo un vasto número de palabras? Bueno, hay apenas 4.5 mil millones de palabras en Wikipedia; GPT-4 fue entrenado con más de un billón.

Creo que es importante considerar esta escala. Los autores, comprensiblemente, están preocupados de que las 75,000 palabras, más o menos, de su libro puedan haber sido absorbidas por un modelo de lenguaje grande. Quizás lo hayan sido (más sobre esto a continuación). Pero asumiendo que este es el caso, considera cuán poco valor tiene cualquier libro individual para el poder total de los modelos de lenguaje grandes de hoy. Es verdaderamente insignificante. Más que insignificante. Incluso 10,000 libros es una minucia.