[{"_1":2,"_3":-5,"_4":-5},"loaderData",{"_5":6,"_7":8},"actionData","errors","root",{"_28":-5,"_38":-5,"_39":40,"_41":42,"_43":44,"_45":46,"_47":48,"_49":50,"_51":52,"_53":54,"_55":56,"_57":58},"routes/_store+/_readers+/email_author.$slug/route",{"_9":10,"_11":-5},"book",{"_12":13,"_14":15,"_16":17,"_18":19,"_20":21,"_22":23},"currentUser","id","Z2lkOi8vbGVhbnB1Yi9TdG9yZTo6Qm9va1Byb2R1Y3QvODI1NzM","title","Reinforcement Learning для LLM","state","published","contactAuthorMethod","email","aboutText","

«Reinforcement Learning для LLM» — инженерная книга о современном обучении с подкреплением для языковых моделей и систем с агентами: от классического аппарата RL до post-training, проверяемых наград, поиска, инфраструктуры, evaluation и безопасности.

Книга построена не как каталог алгоритмов. Её цель — помочь выбирать метод по контракту данных и обратной связи, точно определять оптимизируемую политику, проверять оцениватели и маски, видеть стоимость роллаутов и отличать обучение от отбора кандидатов во время инференса.

Маршрут из 13 глав охватывает:

• MDP и POMDP, функции ценности и уравнения Беллмана, бандитов, exploration и off-policy evaluation;

• градиенты политики от REINFORCE до PPO, imitation learning и offline RL;

• LLM как токеновую политику, log-probabilities последовательностей, контроль KL, модели награды и данные о предпочтениях;

• RLHF и прямую оптимизацию предпочтений, включая методы семейства DPO;

• RL с проверяемыми наградами, GRPO, поиск, верификацию и test-time compute;

• RL для LLM-агентов, инструменты, среды и длинные траектории;

• инфраструктуру роллаутов и обучения, статистическое оценивание, reward hacking, contamination и безопасность.

Формулы связываются с практическими контрактами и диагностическими проверками. В центре внимания — что именно оптимизируется, какие данные нужны, где возникают смещение и дисперсия и какие failure modes могут сделать внешне успешный запуск обманчивым.

Книга рассчитана на ML-, AI- и LLM-инженеров, исследователей alignment и агентных систем, магистрантов и практиков, уже использующих SFT, DPO, PPO, GRPO или LLM-судей. Предыдущий курс по RL не требуется: первые главы последовательно вводят классический аппарат; предполагаются основы машинного обучения, Python и теории вероятностей.

Издание Leanpub содержит открытые тексты лекций и иллюстрации. Платный курс на Stepik добавляет структурированный маршрут, более 500 автопроверяемых тестов, упражнений и заданий для самопроверки, подробные решения и notebook-практику.

Книга входит в развивающуюся серию самостоятельных курсов и изданий об ML и LLM. Каждый том можно изучать отдельно; перекрёстные ссылки дают дополнительное углубление.

Полный курс на Stepik: https://stepik.org/a/293294

","authors",[24],{"_12":25,"_26":27,"_28":29},"Z2lkOi8vbGVhbnB1Yi9TdG9yZTo6UHJvZHVjdEF1dGhvci84ODIwNw","name","Vlad Kulikov","user",{"_30":31},"avatar",{"_32":33,"_34":35,"_36":37},"url","https://d39qdlcrvnra4b.cloudfront.net/avatars/3761861/medium/avatar.jpg?1786370213","styleName","medium","exists",true,"shoppingCartId","shoppingCart",{"_12":71,"_72":73,"_74":37,"_75":76,"_77":78,"_79":80,"_81":37},"locale","en","readerTheme","light","constants",{"_69":70},"publishers",{"_65":66,"_67":68},"learnerOrganizations",[],"needsLocaleCookieSync",false,"announcements",{"_59":60,"_61":-5},"sentryEnvironment","production","sentryRelease","2d868283c9a7f750b5dbb69ab018d1ddb4584156","announcement_store",{"_62":52,"_63":64},"announcement_authors","flag","text","

Kick off your book project, get started with GhostAI, get better at marketing, or spend the day doing all three! Free live workshops on Zoom. Saturday, June 27, 2026.

\n","companies",[],"universities",[],"paypalClientId","AX53Cwz8jR6rVVzzZiZNWWXl0dGagi-GZrjG-S3Ua14E5nrKMn7DxDQ730O4R8LusLPp49ALn6aRVaEy","no-cart","count",0,"free","updatedAt","","paymentGateway","STRIPE","cartItems",[],"loading"]

Email the Author