Alucinaciones: Una mosca en la sopa

La Palabra del Año 2023 del Cambridge Dictionary fue “Hallucinate,” cuya definición se ha ampliado para incluir “Cuando una inteligencia artificial… alucina, produce información falsa.” (Otras adiciones al diccionario de 2023 incluyen “ingeniería de prompts,” “modelo de lenguaje grande,” y “GenAI.”)

Las alucinaciones de la IA, señala Cambridge, “a veces parecen absurdas. Pero también pueden parecer completamente plausibles, aunque sean fácticamente incorrectas o en última instancia ilógicas.” Esto, tristemente, es bastante cierto, y a partir de julio de 2024 sigue siendo una limitación dramática para usar IA generativa en tareas críticas. Es una de las varias grandes rarezas de la IA, y la gente tarda un tiempo en entenderlo. Recuerda, la IA generativa es principalmente un motor de predicción de la siguiente palabra, no una base de datos de hechos. De ahí la necesidad de los HITLs, Humanos-en-el-Bucle, como ahora nos conocemos, para verificar la salida de la IA. Y nuevamente, es notable que podamos obtener un valor tan extraordinario de una tecnología que puede producir resultados demostrablemente inexactos. Así es la vida.

Gary Marcus, un crítico de IA experimentado y bien informado, compara las alucinaciones de la IA con relojes rotos, que están en lo correcto dos veces al día. “Es correcto algunas veces,” dice, “pero no sabes en qué parte del tiempo, y eso reduce mucho su valor.”

Ethan Mollick, un orador principal en la conferencia de Publishers Weekly en septiembre de 2023, señala que las personas que usan IA esperan un 100% de precisión. Las alucinaciones, dice, son similares a “las tasas de error humano” que toleramos diariamente.

Andrej Karpathy, un científico destacado especializado en IA, que actualmente trabaja en OpenAI, escribe sobre las alucinaciones:

“Siempre lucho un poco cuando me preguntan sobre el ‘problema de las alucinaciones’ en los modelos de lenguaje grande. Porque, en cierto sentido, la alucinación es todo lo que hacen los modelos de lenguaje grande. Son máquinas de sueños.

“Dirigimos sus sueños con prompts. Los prompts inician el sueño, y basándose en el vago recuerdo del modelo de sus documentos de entrenamiento, la mayoría de las veces el resultado va a algún lugar útil.

“Es solo cuando los sueños entran en un territorio considerado fácticamente incorrecto que lo etiquetamos como una ‘alucinación.’ Parece un error, pero es solo el modelo de lenguaje grande haciendo lo que siempre hace.”

No es solo el problema de inventar cosas. El chat de IA es un software profundamente defectuoso.

Para muchas consultas, particularmente de novatos, las respuestas son mundanas, fuera de objetivo o simplemente no útiles. El chat de IA tiene problemas para contar: Pídele un blog de 500 palabras y tendrás suerte si obtienes 150.

Y cada una de las empresas de IA, para reducir el sesgo y evitar responder consultas de “cómo construir una bomba,” ha erigido estrictas barreras de respuesta alrededor de sus productos: muy a menudo, la respuesta a una pregunta es, esencialmente, “No, no responderé eso.” Le pedí a Google Gemini que revisara un borrador de este texto y me advirtieron que “es esencial obtener la aprobación del autor antes de publicar.”

Considera esto: Le pedí a cuatro chats de IA que verificaran los siguientes enunciados:

• A partir de 2024, hay 6 grandes editoriales multinacionales con sede en la ciudad de Nueva York. Se conocen como las Big 6.

• Los libros electrónicos siguen dominando las ventas de libros en los Estados Unidos.

• Borders y Barnes & Noble son las dos cadenas de librerías más grandes de los Estados Unidos.

• Después de un declive en ventas durante el Covid, las ventas de libros en EE. UU. están creciendo nuevamente a doble dígito.

Todos detectaron los errores en las primeras tres afirmaciones. Cada uno de ellos se confundió un poco en la cuarta, inciertos de la magnitud del aumento de ventas durante el Covid y de los patrones de ventas subsiguientes. Es un experimento pequeño y no representativo, pero estos chats de IA, que no están destinados a ser basados en hechos, pueden hacer un trabajo creíble al evaluar hechos que la mayoría de los observadores casuales pasaría por alto.