Modern LLMs

Modern LLMs — инженерная книга о полном жизненном цикле языковой модели: от данных, токенизации и архитектуры до pretraining, post-training, эффективного инференса, evaluation и прикладных систем.

Это не каталог названий моделей. Цель книги — дать устойчивую систему, с которой можно читать model card и технические отчёты, проверять арифметику архитектуры, оценивать затраты памяти и вычислений и отличать переносимые механизмы от быстро устаревающего рыночного среза.

В книге рассматриваются:

• современный ландшафт LLM, справочный маршрут по Transformer, токенизация, эмбеддинги и позиционные механизмы, включая RoPE;

• attention MHA, MQA, GQA и MLA, нормализация, активации, устройство блока и Mixture of Experts;

• SSM/Mamba, гибридные и диффузионные языковые модели, данные, scaling laws, оптимизаторы и pretraining;

• KV-кэши, prefill и decode, PagedAttention, speculative decoding и квантизация;

• SFT, RLHF, DPO, RLOO, GRPO, модели рассуждения и test-time compute;

• мультимодальные LLM, эмбеддинги и retrieval, RAG, агенты и tool use, evaluation и безопасность.

Формулы по всему тексту связываются с архитектурными и численными проверками. Основное внимание уделяется механизмам, допущениям, компромиссам, failure modes и воспроизводимости, а учебные реализации не выдаются за production-ready системы.

Книга рассчитана на ML-, AI- и LLM-инженеров, исследователей, магистрантов и разработчиков, уже использующих языковые модели и желающих понимать, что происходит ниже уровня API. Полезны базовые знания машинного обучения, Python, тензоров и теории вероятностей.

Издание Leanpub содержит открытые тексты лекций и иллюстрации. Платный курс на Stepik добавляет структурированный маршрут, более 500 автопроверяемых тестов, упражнений и заданий для самопроверки, подробные решения, проверенные ноутбуки и Capstone, в котором вы собираете компактную MiniLLM от данных и byte-level BPE до post-training, инференса и контролируемых абляций.

Modern LLMs входит в развивающуюся серию самостоятельных курсов и изданий об ML и LLM. Каждый том самодостаточен; перекрёстные ссылки дают дополнительное углубление.

Полный курс на Stepik: https://stepik.org/a/294813