第7章　高级强化学习库

在第6章，我们实现了DeepMind在2015年发布的深度Q-network（DQN）模型（https://deepmind.com/research/publications/playing-atari-deep-reinforcement-learning）。这篇论文对RL领域产生了重大的影响，之前人们只是普遍认为在RL中使用非线性近似是可能的，但DeepMind展示了具体做法。这一概念的证明激发了大家对深度Q-learning和一般RL的兴趣。

本章中，我们将通过讨论更高级RL库，向RL实践迈出新的一步。这些库将用高阶代码块来构建代码，并专注于要实现的方法的细节。本章大部分内容将介绍PyTorch Agent Net（PTAN）库，本书的剩余部分都会使用它来避免代码重复，因此我们将对其进行详细的介绍。

本章将介绍：

• 使用高级库的动机，不要从头开始重新实现一切。
• PTAN库以及最重要的部分，将通过代码示例进行说明。
• 针对CartPole上的DQN，使用PTAN库来实现。
• 可以考虑的其他RL库。