Enviar correo al autor
You can use this page to email Afshine Amidi, Shervine Amidi, y laramaktub about Super Study Guide: Transformers y Grandes Modelos de Lenguaje.
Sobre el Libro
Este libro es una guía concisa e ilustrada para cualquiera que desee comprender el funcionamiento interno de los Grandes Modelos de Lenguaje, ya sea de cara a realizar entrevistas, proyectos o para satisfacer su curiosidad.
Está dividido en 5 partes:
- Fundamentos: Introducción a las redes neuronales y a los conceptos importantes de aprendizaje profundo para entrenamiento, evaluación y prueba.
- Embeddings: Algoritmos de tokenización, embeddings de palabras (word2vec) y embeddings de oraciones (RNN, LSTM, GRU).
- Transformers: Motivación detrás de su mecanismo de autoatención, visión detallada de la arquitectura codificador-decodificador y modelos clave relacionados como BERT, GPT y T5.
- Grandes Modelos de Lenguaje: Modelos basados en Transformers que logran un rendimiento más avanzado con consejos sobre ingeniería de prompts, junto con cómo hacer ajustes finos (SFT, PEFT) y ajuste por preferencias (RLHF, DPO).
- Aplicaciones: Extracción de sentimientos, traducción automática, elaboración de resúmenes, generación aumentada por recuperación y muchas más.
Sobre los Autores
Afshine Amidi is currently teaching the Transformers & Large Language Models workshop at Stanford and is also leading LLM efforts at Netflix. Previously, he worked on the Gemini team at Google and used NLP techniques to solve complex queries. Before that, he worked at Uber Eats to improve the quality of the search and recommendation systems. On the side, Afshine published a few papers at the intersection of deep learning and computational biology. He holds a Bachelor’s and a Master’s Degree from École Centrale Paris and a Master’s Degree from MIT.
Shervine Amidi is currently teaching the Transformers & Large Language Models workshop at Stanford and is also working on the Gemini team at Google to leverage LLMs for action-based queries. Previously, he worked on applied machine learning problems for recommender systems at Uber Eats where he focused on representation learning to better surface dish recommendations. On the side, Shervine published a few papers at the intersection of deep learning and computational biology. He holds a Bachelor’s and a Master’s Degree from École Centrale Paris and a Master’s Degree from Stanford University.
