作者：(美)劳拉·格雷泽(Laura Grae
页数：22,362页
出版社：机械工业出版社
出版日期：2021
ISBN：9787111670407
电子书格式：pdf/epub/txt
内容简介
这本书是针对计算机科学专业大学生和软件工程师的。本课程旨在介绍深度强化学习，无需事先了解相关主题。但是，我们假设读者对机器学习和深度学习有基本的了解，并且对Python编程有中级的了解。一些使用PyTorch的经验也是有用的，但不是必需的。
作者简介
劳拉格雷泽（Laura Graesser）是一名研究软件工程师，在谷歌从事机器人技术方面的工作。她拥有纽约大学计算机科学硕士学位，专攻机器学习。..龚辉伦（Wah Loon Keng）是Machine Zone的一名人工智能工程师，他致力于将深度强化学习应用于工业问题。他拥有理论物理和计算机科学的背景。..他们共同开发了两个深度强化学习软件库，并就此进行了多次主题讲座和技术辅导。.
本书特色
快速了解深度强化学习算法的理论、语言和实现，用熟悉的符号清晰地阐明概念，用简洁的代码解释各类新技术
目录
第1章 强化学习简介 11.1 强化学习 11.2 强化学习中的MDP 61.3 强化学习中的学习函数 91.4 深度强化学习算法 111.4.1 基于策略的算法 121.4.2 基于值的算法 131.4.3 基于模型的算法 131.4.4 组合方法 151.4.5 本书中的算法 151.4.6 同策略和异策略算法 161.4.7 小结 161.5 强化学习中的深度学习 171.6 强化学习与监督学习 191.6.1 缺乏先知 191.6.2 反馈稀疏性 201.6.3 数据生成 201.7 总结 21第一部分 基于策略的算法和基于值的算法第2章 REINFORCE 252.1 策略 262.2 目标函数 262.3 策略梯度 272.3.1 策略梯度推导 282.4 蒙特卡罗采样 302.5 REINFORCE算法 312.5.1 改进的REINFORCE算法 322.6 实现REINFORCE 332.6.1 一种最小化REINFORCE的实现 332.6.2 用PyTorch构建策略 362.6.3 采样动作 382.6.4 计算策略损失 392.6.5 REINFORCE训练循环 402.6.6 同策略内存回放 412.7 训练REINFORCE智能体 442.8 实验结果 472.8.1 实验：评估折扣因子的影响 472.8.2 实验：评估基准线的影响 492.9 总结 512.10 扩展阅读 512.11 历史回顾 51第3章 SARSA 533.1 Q函数和V函数 543.2 时序差分学习 563.2.1 时序差分学习示例 593.3 SARSA中的动作选择 653.3.1 探索和利用 663.4 SARSA算法 673.4.1 同策略算法 683.5 实现SARSA 693.5.1 动作函数：ε-贪婪 693.5.2 计算Q损失 703.5.3 SARSA训练循环 713.5.4 同策略批处理内存回放 723.6 训练SARSA智能体 743.7 实验结果 763.7.1 实验：评估学习率的影响 773.8 总结 783.9 扩展阅读 793.10 历史回顾 79第4章 深度Q网络 814.1 学习DQN中的Q函数 824.2 DQN中的动作选择 834.2.1 Boltzmann策略 864.3 经验回放 884.4 DQN算法 894.5 实现DQN 914.5.1 计算Q损失 914.5.2 DQN训练循环 924.5.3 内存回放 934.6 训练DQN智能体 964.7 实验结果 994.7.1 实验：评估网络架构的影响 994.8 总结 1014.9 扩展阅读 1024.10 历史回顾 102第5章 改进的深度Q网络 1035.1 目标网络 1045.2 双重DQN 1065.3 优先级经验回放 1095.3.1 重要性抽样 1115.4 实现改进的DQN 1125.4.1 网络初始化 1135.4.2 计算Q损失 1135.4.3 更新目标网络 1155.4.4 包含目标网络的DQN 1165.4.5 双重DQN 1165.4.6 优先级经验回放 1175.5 训练DQN智能体玩Atari游戏 1235.6 实验结果 1285.6.1 实验：评估双重DQN与PER的影响 1285.7 总结 1325.8 扩展阅读 132第二部分 组合方法第6章 优势演员–评论家算法 1356.1 演员 1366.2 评论家 1366.2.1 优势函数 1366.2.2 学习优势函数 1406.3 A2C算法 1416.4 实现A2C 1436.4.1 优势估计 1446.4.2 计算价值损失和策略损失 1476.4.3 演员–评论家训练循环 1476.5 网络架构 1486.6 训练A2C智能体 1506.6.1 在Pong上使用n步回报的A2C算法 1506.6.2 在Pong上使用GAE的A2C算法 1536.6.3 在BipedalWalker上使用n步回报的A2C算法 1556.7 实验结果 1576.7.1 实验：评估n步回报的影响 1586.7.2 实验：评估GAE中的影响 1596.8 总结 1616.9 扩展阅读 1626.10 历史回顾 162第7章 近端策略优化算法 1657.1 替代目标函数 1657.1.1 性能突然下降 1667.1.2 修改目标函数 1687.2 近端策略优化 1747.3 PPO算法 1777.4 实现PPO 1797.4.1 计算PPO的策略损失 1797.4.2 PPO训练循环 1807.5 训练PPO智能体 1827.5.1 在Pong上使用PPO算法 1827.5.2 在BipedalWalker上使用PPO算法 1857.6 实验结果 1887.6.1 实验：评估GAE中的影响 1887.6.2 实验：评估裁剪变量的影响 1907.7 总结 1927.8 扩展阅读 192第8章 并行方法 1958.1 同步并行 1968.2 异步并行 1978.2.1 Hogwild!算法 1988.3 训练A3C智能体 2008.4 总结 2038.5 扩展阅读 204第9章 算法总结 205第三部分 实践细节第10章 深度强化学习工程实践 20910.1 软件工程实践 20910.1.1 单元测试 21010.1.2 代码质量 21510.1.3 Git工作流 21610.2 调试技巧 21810.2.1 生命迹象 21910.2.2 策略梯度诊断 21910.2.3 数据诊断 22010.2.4 预处理器 22210.2.5 内存 22210.2.6 算法函数 2
