Reinforcement Learning: Theory and Python Implementation
Эта книга представляет собой всеобъемлющее руководство по обучению с подкреплением (Reinforcement Learning, RL), сочетающее глубокое теоретическое обоснование с практической реализацией на Python. Автор систематически излагает современную теорию RL, начиная с основ и заканчивая передовыми алгоритмами глубокого обучения с подкреплением.
Книга разделена на три логические части: введение в RL и библиотеку Gym, подробный разбор основных алгоритмов (от классических до глубоких) с математическими выводами и доказательствами, а также обзор расширенных моделей RL, включая обучение с частичной наблюдаемостью и обучение с подкреплением на основе человеческой обратной связи (RLHF), которая является ключевой технологией для таких моделей, как ChatGPT.
Особое внимание уделяется практической стороне: каждый алгоритм сопровождается чистым, самодостаточным кодом на Python, который можно легко запустить в любой из трёх основных операционных систем. Код напрямую отражает описание алгоритмов и работает с различными средами, включая встроенные задачи Gym и пользовательские окружения.
Издание охватывает все основные алгоритмы RL, включая Proximal Policy Optimization (PPO), и использует последовательную систему математических обозначений, совместимую с主流ными учебными материалами по теме. Это делает книгу ценным ресурсом как для студентов, так и для практиков, желающих глубоко понять теорию и научиться применять RL для решения реальных задач, от игр и робототехники до финансов и языковых моделей.
