Reinforcement Learning для LLM

«Reinforcement Learning для LLM» — инженерная книга о современном обучении с подкреплением для языковых моделей и систем с агентами: от классического аппарата RL до post-training, проверяемых наград, поиска, инфраструктуры, evaluation и безопасности.

Книга построена не как каталог алгоритмов. Её цель — помочь выбирать метод по контракту данных и обратной связи, точно определять оптимизируемую политику, проверять оцениватели и маски, видеть стоимость роллаутов и отличать обучение от отбора кандидатов во время инференса.

Маршрут из 13 глав охватывает:

• MDP и POMDP, функции ценности и уравнения Беллмана, бандитов, exploration и off-policy evaluation;

• градиенты политики от REINFORCE до PPO, imitation learning и offline RL;

• LLM как токеновую политику, log-probabilities последовательностей, контроль KL, модели награды и данные о предпочтениях;

• RLHF и прямую оптимизацию предпочтений, включая методы семейства DPO;

• RL с проверяемыми наградами, GRPO, поиск, верификацию и test-time compute;

• RL для LLM-агентов, инструменты, среды и длинные траектории;

• инфраструктуру роллаутов и обучения, статистическое оценивание, reward hacking, contamination и безопасность.

Формулы связываются с практическими контрактами и диагностическими проверками. В центре внимания — что именно оптимизируется, какие данные нужны, где возникают смещение и дисперсия и какие failure modes могут сделать внешне успешный запуск обманчивым.

Книга рассчитана на ML-, AI- и LLM-инженеров, исследователей alignment и агентных систем, магистрантов и практиков, уже использующих SFT, DPO, PPO, GRPO или LLM-судей. Предыдущий курс по RL не требуется: первые главы последовательно вводят классический аппарат; предполагаются основы машинного обучения, Python и теории вероятностей.

Издание Leanpub содержит открытые тексты лекций и иллюстрации. Платный курс на Stepik добавляет структурированный маршрут, более 500 автопроверяемых тестов, упражнений и заданий для самопроверки, подробные решения и notebook-практику.

Книга входит в развивающуюся серию самостоятельных курсов и изданий об ML и LLM. Каждый том можно изучать отдельно; перекрёстные ссылки дают дополнительное углубление.

Полный курс на Stepik: https://stepik.org/a/293294