The Leanpub 60 Day 100% Happiness Guarantee
Within 60 days of purchase you can get a 100% refund on any Leanpub purchase, in two clicks.
See full terms...
Теория информации для машинного обучения
От энтропии и кодирования к NLP, LLM, компьютерному зрению и обучению с подкреплением
This book is 100% completeLast updated on 2026-08-10
Теория информации: от энтропии и кодирования до NLP, LLM, компьютерного зрения и обучения с подкреплением.
Minimum price
Free!
$15.00
You pay
Author earns
PDF
EPUB
About
About the Book
«Теория информации для машинного обучения» — строгая прикладная книга о математическом языке современного ML. Она начинается с теории Шеннона и последовательно связывает определения и теоремы с функциями потерь, представлениями, вероятностными моделями, сжатием и инженерными компромиссами, возникающими на практике.
В основе книги лежит простая дисциплина: всегда уточнять, какое распределение задаёт математическое ожидание, измеряется ли величина в битах или натах и что именно перед нами — точная теорема, оценка по конечной выборке, обучающая целевая функция или моделирующая аналогия. Благодаря этому кросс-энтропия, KL-дивергенция, перплексия, взаимная информация и rate–distortion становятся достаточно точными инструментами для анализа и проектирования систем.
Маршрут из 16 глав охватывает:
• энтропию, кросс-энтропию, KL-дивергенцию, неравенство Йенсена и взаимную информацию;
• кодирование источника, каналы связи, пропускную способность и принцип максимума энтропии;
• Information Bottleneck, алгоритмическую теорию информации, f-дивергенции и границы PAC-Bayes/MI;
• информационно-теоретический взгляд на рассуждения в LLM, компьютерное зрение и обучение представлений;
• информационную геометрию и компактную итоговую памятку.
Книга рассчитана на ML-инженеров, исследователей, студентов старших курсов, магистрантов и самостоятельно обучающихся специалистов, знакомых с основами теории вероятностей, линейной алгебры и машинного обучения. Выводы сопровождаются операционным смыслом, а граница между формальной гарантией и полезной инженерной интерпретацией обозначается явно.
Издание Leanpub содержит тексты лекций и иллюстрации и предназначено для последовательного чтения. Соответствующий курс на Stepik полностью бесплатен и дополнительно включает автопроверяемые вопросы, упражнения, подробные решения, воспроизводимые эксперименты и ноутбуки на Python, а также списки первоисточников.
Книга входит в развивающуюся серию самостоятельных курсов и изданий об ML и LLM. Каждый том можно читать отдельно; перекрёстные ссылки дают дополнительное углубление.
Полный бесплатный курс на Stepik: https://stepik.org/295411
Feedback
Author
About the Author
Vlad Kulikov
Я Lead AI/ML (LLMs) в FinTech. С 2017 года занимаюсь R&D, разработкой ML- и GenAI-систем и консультированием бизнеса по внедрению AI. Изучал физику и технологии в Харьковском университете и окончил магистерскую программу MIPT University «Современный искусственный интеллект».
Earn $8 on a $10 Purchase, and $16 on a $20 Purchase
We pay 80% royalties on purchases of $7.99 or more, and 80% royalties minus a 50 cent flat fee on purchases between $0.99 and $7.98. You earn $8 on a $10 sale, and $16 on a $20 sale. So, if we sell 5000 non-refunded copies of your book for $20, you'll earn $80,000.
(Yes, some authors have already earned much more than that on Leanpub.)
In fact, authors have earned over $15 million writing, publishing and selling on Leanpub.
Learn more about writing on Leanpub
Free Updates. DRM Free.
If you buy a Leanpub book, you get free updates for as long as the author updates the book! Many authors use Leanpub to publish their books in-progress, while they are writing them. All readers get free updates, regardless of when they bought the book or how much they paid (including free).
Most Leanpub books are available in PDF (for computers) and EPUB (for phones, tablets and Kindle). The formats that a book includes are shown at the top right corner of this page.
Finally, Leanpub books don't have any DRM copy-protection nonsense, so you can easily read them on any supported device.
Learn more about Leanpub's ebook formats and where to read them
Write and Publish on Leanpub
You can use Leanpub to easily write, publish and sell in-progress and completed ebooks and online courses!
Leanpub is a powerful platform for serious authors, combining a simple, elegant writing and publishing workflow with a store focused on selling in-progress ebooks.
Leanpub is a magical typewriter for authors: just write in plain text, and to publish your ebook, just click a button. (Or, if you are producing your ebook your own way, you can even upload your own PDF and/or EPUB files and then publish with one click!) It really is that easy.