李宏毅强化学习完整笔记！开源项目《LeeDeepRL-Notes》发布

小鱼儿 2022-11-20 01:51 220阅读 0赞

Datawhale开源

**核心贡献者：王琦、杨逸远、江季**

提起李宏毅老师，熟悉强化学习的读者朋友一定不会陌生。很多人选择的强化学习入门学习材料都是李宏毅老师的台大公开课视频。

现在，强化学习爱好者有更完善的学习资料了！ **Datawhale开源项目组成员总结了李宏毅的强化学习视频，实现了**视频教程**的完整梳理和复现，再也不用担心强化学习**。

目前，项目已完全开源，包括课程内容、配套的习题和项目，供大家使用。

![60e1c964c5c3ae8276f2e695eeecb594.png][]

## 1. 李宏毅深度强化学习简介 ##

李宏毅老师现任台湾大学电气工程系副教授，主要研究方向是机器学习，特别是深度学习。他有一系列公开的强化学习课程视频，也是很多人入门的教程。

![0fb6243e1f8569ddf7c26bf3c028824c.png][]

李宏毅老师的课程包括很多常见的强化学习算法，比如策略梯度、PPO、DQN、DDPG、演员-评论员算法、模仿学习、稀疏奖励等算法。此外，我们还补充了马尔可夫决策过程、Q-learning、Sarsa、REINFORCE 等强化学习常见的算法及概念。

![e47d519dc4ae1debd0717699016fd260.png][]

「策略梯度」课程中的 PPT，解释了策略梯度的过程

![aa1f1cc4f46fd265d0b11ba024b7c796.png][]

「近端策略优化算法」课程中的 PPT，展示了重要性采样的问题

李宏毅老师的《深度强化学习》是强化学习领域经典的中文教程之一。李老师幽默风趣的上课风格让晦涩的强化学习理论变得轻松易懂，他会通过很多有趣的例子来讲解强化学习理论。比如老师经常会用玩 Atari 游戏的例子来讲解强化学习算法。

此外，为了课程的完整性，**我们整理了周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。** 对于想入门强化学习又想看中文讲解的人来说绝对是非常推荐的。

但是，考虑到很多强化学习爱好者对于课程笔记的需求，我们不仅仅需要的是教学视频。我们需要一份课程笔记，能够引领学习者的思路，帮助引导他们进入这个领域。因此，就诞生了这款《LeeDeepRL-Notes》李宏毅深度强化学习笔记。

## 2.《LeeDeepRL-Notes》李宏毅深度强化学习笔记 ##

LeeDeepRL-Notes 是 Datawhale 自《李宏毅机器学习笔记》后的又一开源学习项目，由团队成员王琦、杨毅远、江季历时四个月协作而成，实现了李宏毅老师深度强化学习课程内容的 100% 复现，并且在此基础上补充了有助于学习理解的相关资料和内容，对重难点公式进行了补充推导。

期间，Datawhale 组织了《深度强化学习基础》学习，在众多学习者共同的努力下，对该内容进行了迭代和补充。下面，让我们来详细了解下工作详情吧。

具体工作：

*  2020 年 6 月 – 2020 年 7 月：笔记整理初级阶段，视频 100% 复现；
 *  2020 年 7 月 – 2020 年 10 月：添加相关的习题和项目，对笔记内容及排版迭代优化；
 *  2020 年 10 月 – 2020 年 11 月：组队学习《深度强化学习基础》并对内容进行迭代完善；
 *  2020 年 11 月：最后内容修正，正式推广。

![05e07cb3d409bf6e0e1a9d24a2ea9c15.png][]

10月《深度强化学习基础》组队学习中学习者的评价

## 3.《LeeDeepRL-Notes》学习笔记框架 ##

### 3.a 亮点 ###

这份学习笔记具有以下优点：

*  完全将李宏毅老师的讲课内容转为文字，方便学习者查阅参考。
 *  为了课程的完整性，我们还整理了周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。
 *  配有相关的习题和项目。

### 3.b 笔记框架 ###

内容在整体框架上与李宏毅老师的深度强化学习课程保持一致。建议学习过程中将李宏毅老师的视频和这份资料搭配使用，效果极佳。笔记也和课程视频完全同步。

内容导航见下：![c2742799fe6c3d8673b5122d456d6bd7.png][]

## 4. 笔记内容细节展示 ##

### 4.a 对 Q-learning 概念的解析 ###

![0cb404ebc2e28a7b07ca8f6511f817e4.png][]

在笔记中重新整理 PPT 内容，并增加了一些注释

### 4.b Actor-Critc 算法的引入 ###

![76025c3162532760915e2e1a3f06bcda.png][]

根据内容整理成知识点，方便读者理解阅读

在整理过程中，我们并不对视频语音直接转文字，而是根据内容整理成知识点，方便读者理解阅读。

### 4.c 利用贴近学生的例子解释知识点 ###

![96828839b0d307044d23ab538e9db60d.png][]

强化学习基本概念的解释

## 5. 习题（查漏补缺） ##

只有教程怎么够，来点儿课后习题和关键字总结帮助大家查漏补缺也是极好的。我们根据每一章的内容，并结合其他的网络资料，原创了课后习题以及关键字的总结，辅助你在更短的时间内查漏补缺，令你更快的将“零碎、无序”的知识“拼接”完整。

### 5.a 关键字让你快速 get 到文章的要点 ###

在每章教程的后面，我们都会结合每章的内容，将定义、具体算法、专业名词等关键字和知识点，使用最短、最精确且最白话的方式总结，供大家吸收与巩固。

![a8f5c121682165a0d409d58651fc9cee.png][]

教程第二章部分关键字示意图

### 5.b 习题与参考答案助力你的查漏补缺 ###

除了关键词，我们还提供了章节对应的习题供大家查漏补缺，并且结合其他资料，提供了详细、易懂的答案供大家参考。

![f9f430af1fa8042166c1d7a2e03bdbfd.png][]

教程第一章部分习题以及对应参考答案示意图

## 6. 项目（动手实践） ##

强化学习少了实践怎么行，这边挑了三个项目，都基于流行的 OpenAI gym 环境，让你快速入门，循序渐进，主要包括：

### 6.a 对项目的简易描述 ###

![897adf98af8aa7bbd18ae11c822c9011.png][]

### 6.b 层次清晰的手写代码 ###

![a8a43abf22afdb8a3f486ef26b467d65.png][]

将整个强化学习过程分成以上几个子模块，方便拆解与改动，并且契合原论文的伪代码，在`main.py`中提供基本接口：

![42d2503215e60e44902ebc84117c091a.png][]

### 6.c 使用 Tensorboard 进行可视化 ###

![182ed0e17401085ad138350325cf4d88.png][]

### 6.d 丰富的持续更新 ###

![87a0a6ea29fcc0492a5c4eef04738364.png][]

在刚刚结束的组队学习中，助教耐心地解答了大家的疑惑，并且会根据反馈的情况，在之后的一个月内，持续更新项目的设计方法和详细的代码思路讲解，敬请期待～

## 7. 配套视频 ##

**视频地址**：https://www.bilibili.com/video/BV1MW411w79n

## 8. 开源地址 ##

**项目地址**：https://github.com/datawhalechina/leedeeprl-notes 或点击阅读原文获取，欢迎star！

[60e1c964c5c3ae8276f2e695eeecb594.png]: /images/20221120/d252abe43286483b935a1361bbd9bd27.png
[0fb6243e1f8569ddf7c26bf3c028824c.png]: https://img-blog.csdnimg.cn/img_convert/0fb6243e1f8569ddf7c26bf3c028824c.png
[e47d519dc4ae1debd0717699016fd260.png]: https://img-blog.csdnimg.cn/img_convert/e47d519dc4ae1debd0717699016fd260.png
[aa1f1cc4f46fd265d0b11ba024b7c796.png]: https://img-blog.csdnimg.cn/img_convert/aa1f1cc4f46fd265d0b11ba024b7c796.png
[05e07cb3d409bf6e0e1a9d24a2ea9c15.png]: https://img-blog.csdnimg.cn/img_convert/05e07cb3d409bf6e0e1a9d24a2ea9c15.png
[c2742799fe6c3d8673b5122d456d6bd7.png]: https://img-blog.csdnimg.cn/img_convert/c2742799fe6c3d8673b5122d456d6bd7.png
[0cb404ebc2e28a7b07ca8f6511f817e4.png]: https://img-blog.csdnimg.cn/img_convert/0cb404ebc2e28a7b07ca8f6511f817e4.png
[76025c3162532760915e2e1a3f06bcda.png]: https://img-blog.csdnimg.cn/img_convert/76025c3162532760915e2e1a3f06bcda.png
[96828839b0d307044d23ab538e9db60d.png]: https://img-blog.csdnimg.cn/img_convert/96828839b0d307044d23ab538e9db60d.png
[a8f5c121682165a0d409d58651fc9cee.png]: https://img-blog.csdnimg.cn/img_convert/a8f5c121682165a0d409d58651fc9cee.png
[f9f430af1fa8042166c1d7a2e03bdbfd.png]: https://img-blog.csdnimg.cn/img_convert/f9f430af1fa8042166c1d7a2e03bdbfd.png
[897adf98af8aa7bbd18ae11c822c9011.png]: https://img-blog.csdnimg.cn/img_convert/897adf98af8aa7bbd18ae11c822c9011.png
[a8a43abf22afdb8a3f486ef26b467d65.png]: https://img-blog.csdnimg.cn/img_convert/a8a43abf22afdb8a3f486ef26b467d65.png
[42d2503215e60e44902ebc84117c091a.png]: https://img-blog.csdnimg.cn/img_convert/42d2503215e60e44902ebc84117c091a.png
[182ed0e17401085ad138350325cf4d88.png]: https://img-blog.csdnimg.cn/img_convert/182ed0e17401085ad138350325cf4d88.png
[87a0a6ea29fcc0492a5c4eef04738364.png]: https://img-blog.csdnimg.cn/img_convert/87a0a6ea29fcc0492a5c4eef04738364.png