【李宏毅深度强化学习2018】P3 Q-learning（Basic Idea）

Love The Way You Lie 2022-04-16 02:38 319阅读 0赞

#                              第三讲 Q-learning（Basic Idea） #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70][]

视频地址：[https://www.bilibili.com/video/av24724071?t=1121&p=3][https_www.bilibili.com_video_av24724071_t_1121_p_3]

PPT地址：[http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS\_2018/Lecture/QLearning%20(v2).pdf][http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS_2018_Lecture_QLearning_20_v2_.pdf]

第一讲整理：[【李宏毅深度强化学习2018】P1 Policy Gradient（Review）][2018_P1 Policy Gradient_Review]

第二讲整理：[【李宏毅深度强化学习2018】P2 Proximal Policy Optimization (PPO)][2018_P2 Proximal Policy Optimization _PPO]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 2][]

Q-learning 是 **value base **的方法，在这种方法中我们**不是要学习一个 policy网络**，而是要**学一个 critic网络**。critic 并不采取行为，只是针对现有的 actor ![\\pi][pi]，评价它的好坏。

**critic 给出了一个 value function ![V^\\pi(s)][V_pi_s]，代表在遇到游戏的某个 state 后，采取策略 ![\\pi][pi]  一直玩到游戏结束，所能得到的 reward 之和。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 3][]

所以 ![V^\\pi(s)][V_pi_s]（即critic）**是个函数，一个网络（前两讲提到 actor 同样是个网络）**。它的输入是某个state，输出是一个scalar标量。上图游戏画面中左边的 ![V^\\pi(s)][V_pi_s] 很大，因为当前怪物比较多，防护罩也没被摧毁，从此时玩到游戏结束得到的 reward 就会比较多；而相对的右边的 ![V^\\pi(s)][V_pi_s] 就比较小。**综上 critic 的输出取决于两点：1是 state，2是 actor 的策略 **![\\pi][pi]**。**

怎么评价一个 critic 的好坏呢？

## 基于蒙特卡洛 Monte-Carlo（MC）based 的评价方法： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 4][]

由于 critic 就是一个网络，所以我们可以训练它，训练的方法是，给定一个策略 ![\\pi][pi]，在 ![S\_a][S_a] 的情况下，网络输出为 ![V^\\pi(S\_a)][V_pi_S_a]（代表**预测的 reward**）；而**实际得到的 reward** 为 ![G\_a][G_a] 。我们的目标就是**让 ![V^\\pi(S\_a)][V_pi_S_a] 和 ![G\_a][G_a] 尽可能接近**，这其实和 regression problem 很相似。

## 基于时序差分Temporal-difference base 的方法评价方法： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 5][]

MC base 的策略需要在某个 state 后一直玩到游戏结束，但游戏若太长，这样就不合理。

而 **TD base 只需要从 ![S\_t][S_t] 玩到 ![S\_\{t+1\}][S_t_1] 就行**。因为 ![V^\\pi(S\_t)=V^\\pi(S\_\{t+1\})+r\_t][V_pi_S_t_V_pi_S_t_1_r_t] ，即 :

![S\_t][S_t] 状态下采取策略 ![\\pi][pi] **玩完游戏**得到的 value  ** = ** ![S\_\{t+1\}][S_t_1] 状态下采取策略 ![\\pi][pi] **玩完游戏**得到的 value  **+**  执行动作 ![a\_t][a_t] 得到的单步 ![r\_t][r_t]

所以我们比较 ![V^\\pi(S\_t)-V^\\pi(S\_\{t+1\})][V_pi_S_t_-V_pi_S_t_1] 和 ![r\_t][r_t] 间的接近程度即可。

## MC base 和TD base方法的比较 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 6][]

**MC 方法的问题在于最后得到的 ![G\_a][G_a] 的方差很大**（回顾一下， ![G\_a][G_a] 在 ![S\_a][S_a] 的情况下根据策略 ![\\pi][pi]进行游戏得到的实际 reward. 其实**是一个随机变量，因为游戏是有随机性的，每一次得到 ![G\_a][G_a] 是不一样的**）。

因为 ![G\_a][G_a] 是很多步 reward 的求和，而根据公式 ![Var\[kX\]=k^2Var\[X\]][Var_kX_k_2Var_X]，**每一步 reward 的方差累加后的方差会乘上 ![k^2][k_2]**。所以最后 ![G\_a][G_a] 的方差很大，即每次算出来的 ** ![V^\\pi(S\_a)][V_pi_S_a]** 都会相差很多。

而用 TD base 中有随机性的部分是 ![r][]，它的方差比较小。但 TD 的问题在于 ![V^\\pi(S\_\{t+1\})][V_pi_S_t_1] 可能很不准确。以下举例说明：

现在假如我们玩了8个 episode 的游戏，每一行对应一个episode，得到以下结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 7][]

我们可以很直观的计算出 ![V^\\pi(S\_b)=3/4][V_pi_S_b_3_4]（6/8）（不论用 MC 方法还是 TD 方法）。但是**根据 MC base 和 TD base 方法算出的 ![V^\\pi(S\_a)][V_pi_S_a] 是不一样的**（可能是 3/4 或 0）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 8][]

MC 方法的计算过程是，由于 ![S\_a][S_a] 只在第一个 episode 中出现，出现后根据策略 ![\\pi][pi] 得到的 reward 是0，所以** ![V^\\pi(S\_a)][V_pi_S_a] **=0

TD 方法的计算过程是，由于 ![S\_a][S_a] 只在第一个 episode 中出现，而 ![S\_a][S_a] 出现后跳到了 ![S\_b][S_b] ，所以 ![V^\\pi(S\_a)=V^\\pi(S\_b)+r=3/4+0=3/4][V_pi_S_a_V_pi_S_b_r_3_4_0_3_4].

MC 考虑的想法是** ![S\_a][S_a] 是一个非常不好的 state，出现 ![S\_a][S_a] 后 ![S\_b][S_b] 被影响只得到 0 的 reward**，所以认为 **![V^\\pi(S\_a)][V_pi_S_a] **为0.

但TD考虑的想法是** ![S\_a][S_a] 后 ![S\_b][S_b] 得到 reward 为 0 只是一个巧合，与 ![S\_a][S_a] 无关，大部分情况下 ![S\_b][S_b] 还是会得到 3/4 的 reward**，所以认为 **![V^\\pi(S\_a)][V_pi_S_a] **为3/4。（因为Sb在Sa之后）

## 另一种 critic 模型 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 9][]

而现在讨论的 Q function 的输入是一个 (s, a) 的 pair。**这样相当于Q function 假设 state 下强制采取 action a**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 10][]

假设你的 action 是无法穷举的，那只能用上图左边的方法，把(s, a)一同作为输入；但若 action 有限，可以采用上图右边的方法，只输入s，然后分别输出在不同 action 情况下的输出值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 11][]

critic 看上去只能评价某个 action 的好坏，但是实际上可以直接用它来做 reinforcement learning（Q-learning）。方法是只要学到一个 ![\\pi][pi] 的 Q function ![Q^\\pi(s,a)][Q_pi_s_a] ，就能有办法找到一个更好的 actor ![\\pi'][pi 1]，这样就能不断更新policy  ![\\pi][pi] 。

什么叫 ![\\pi'][pi 1] 比 π 好呢？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 12][]

就是说**面对所有 state s 时，使用策略 ![\\pi'][pi 1] 得到的 value 一定比使用策略 ![\\pi][pi] 得到的 value 大**，即：![V^\{\\pi'\}(s)\\geqslant V^\\pi(s)][V_pi_s_geqslant V_pi_s]

找 ![\\pi'][pi 1] 的方法是，对于已经学到的 Q function  ![Q^\\pi(s,a)][Q_pi_s_a]，在某个给定的 state 下，分别带入可能的 action，看看哪一个 action 使得函数值最大，**把使得函数值最大的 a，作为以后面对该 state 时采取的 action**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 13][]

上图证明了 ![V^\{\\pi'\}(s)\\geqslant V^\\pi(s)][V_pi_s_geqslant V_pi_s]：TODO

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 14][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70]: /images/20220416/013004fc0adb409ba22fbe2a9c62c61b.png
[https_www.bilibili.com_video_av24724071_t_1121_p_3]: https://www.bilibili.com/video/av24724071?t=1121&p=3
[http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS_2018_Lecture_QLearning_20_v2_.pdf]: http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/QLearning%20%28v2%29.pdf
[2018_P1 Policy Gradient_Review]: https://blog.csdn.net/qq_36829091/article/details/83213707
[2018_P2 Proximal Policy Optimization _PPO]: https://blog.csdn.net/qq_36829091/article/details/83241600
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 1]: /images/20220416/0d990bf1fe7346239911086417a635e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 2]: /images/20220416/c785c46509174ba9803504f37a768a53.png
[pi]: https://private.codecogs.com/gif.latex?%5Cpi
[V_pi_s]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28s%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 3]: /images/20220416/0b170221cdab44f69aeee78542e5ebc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 4]: /images/20220416/f899268bba284fe2b1b5f0c4e0e0ea77.png
[S_a]: https://private.codecogs.com/gif.latex?S_a
[V_pi_S_a]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_a%29
[G_a]: https://private.codecogs.com/gif.latex?G_a
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 5]: /images/20220416/08e41631a84c476c9053b9ac6d72afc1.png
[S_t]: https://private.codecogs.com/gif.latex?S_t
[S_t_1]: https://private.codecogs.com/gif.latex?S_%7Bt&plus;1%7D
[V_pi_S_t_V_pi_S_t_1_r_t]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_t%29%3DV%5E%5Cpi%28S_%7Bt&plus;1%7D%29&plus;r_t
[a_t]: https://private.codecogs.com/gif.latex?a_t
[r_t]: https://private.codecogs.com/gif.latex?r_t
[V_pi_S_t_-V_pi_S_t_1]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_t%29-V%5E%5Cpi%28S_%7Bt&plus;1%7D%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 6]: /images/20220416/4d1ec6014c1444c594cbe835a957c550.png
[Var_kX_k_2Var_X]: https://private.codecogs.com/gif.latex?Var%5BkX%5D%3Dk%5E2Var%5BX%5D
[k_2]: https://private.codecogs.com/gif.latex?k%5E2
[r]: https://private.codecogs.com/gif.latex?r
[V_pi_S_t_1]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_%7Bt&plus;1%7D%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 7]: /images/20220416/0bc81383cc38479f8f3c67db8a4a4593.png
[V_pi_S_b_3_4]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_b%29%3D3/4
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 8]: /images/20220416/e8f93423224049c3a8716a78df8e4544.png
[S_b]: https://private.codecogs.com/gif.latex?S_b
[V_pi_S_a_V_pi_S_b_r_3_4_0_3_4]: https://private.codecogs.com/gif.latex?V%5E%5Cpi%28S_a%29%3DV%5E%5Cpi%28S_b%29&plus;r%3D3/4&plus;0%3D3/4
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 9]: /images/20220416/eea391c540a24301a360b47dacec1714.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 10]: /images/20220416/ec9ed215035441c1a997a14b32f38433.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 11]: /images/20220416/4feebff2e63f4875b5c2d67886c600a6.png
[Q_pi_s_a]: https://private.codecogs.com/gif.latex?Q%5E%5Cpi%28s%2Ca%29
[pi 1]: https://private.codecogs.com/gif.latex?%5Cpi%27
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 12]: /images/20220416/ec57fbe860b046d085580472bb734ace.png
[V_pi_s_geqslant V_pi_s]: https://private.codecogs.com/gif.latex?V%5E%7B%5Cpi%27%7D%28s%29%5Cgeqslant%20V%5E%5Cpi%28s%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 13]: /images/20220416/63599a3dc5634c368729f51145a96ba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 14]: /images/20220416/787a680488b94dada689be0a835d2f52.png