【李宏毅深度强化学习2018】P2 Proximal Policy Optimization (PPO)

冷不防 2022-05-11 14:28 365阅读 0赞

#                          第二讲 Proximal Policy Optimization(PPO) #

![70][]

视频地址：[https://www.bilibili.com/video/av24724071][https_www.bilibili.com_video_av24724071]

课件地址：[http://speech.ee.ntu.edu.tw/~tlkagk/courses\_MLDS18.html][http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS18.html]

第一讲整理：[【李宏毅深度强化学习2018】P1 Policy Gradient（Review）][2018_P1 Policy Gradient_Review]

第三讲整理：[【李宏毅深度强化学习2018】P3 Q-learning（Basic Idea）][2018_P3 Q-learning_Basic Idea]

## 两种策略：on-policy 和 off-policy： ##

![70 1][]

所谓 **on-policy** 指我们**学习的 agent（即actor） 和与环境交互的 agent 是相同的，即 agent 一边和环境互动，一边学习**；

而 **off-policy** 指我们**学习的 agent 与环境交互的 agent 是不同的，即 agent 通过看别人玩游戏来学习**。

注：RL中的 actor/agent 概念和 policy 概念其实有时候会指代同一个东西。因为 policy 即是 actor 要学习的策略，并在是在学习以后用来生成 action 的依据。**actor/policy 都可以代表一个网络/函数，一个用来生成 action 的网络/函数。所以下文有时对二者不加以严格区分。**

## off-policy 方法，利用 q 分布计算 p 分布下的期望： ##

![70 2][]

**上一讲提到的 policy gradient 是指 on-policy 的方法**，即**跟环境互动的 policy 与要 learn 的 policy 是同一个**。

整个 actor 网络的目标是学习参数 ![\\theta][theta] 生成 【能使 reward ![R\_\\theta][R_theta] 最大的 action】。为了使 ![\\bar\{R\_\\theta\}][bar_R_theta] 最大化，我们**需要做gradient ascent。**而 ![\\nabla \\bar\{R\_\\theta\}][nabla _bar_R_theta]  是上一讲提到的做 gradient ascent 时需要计算的梯度。

![E\_\{\\tau \\sim p\_\\theta(\\tau)\}][E_tau _sim p_theta_tau] **意味着如果更新参数后，要重新 sample 一堆 trajectory ![\\tau][tau]，之前的 trajectory 全部不能用了。所以 policy gradient 会花很多时间做sample，因为 sample 一堆 data 后只够做一次参数更新。**

而 off-policy 的好处就是，我们可以**用另一个 ![\\theta '][theta 1] 对应的 policy ![\\pi\_\{\\theta '\}][pi_theta] 来和环境互动，而用其收集到的数据来训练，这样可以把 ![\\pi\_\{\\theta '\}][pi_theta] 收集到的数据重复利用。**

现在介绍 **Importance Sampling 的思想**：

![E\_\{x \\sim p\}\[f(x)\]][E_x _sim p_f_x] 代表从分布 p 中取样本 x 送入函数 f(x) 并求期望，这可以近似于 sample N 个 ![x^i][x_i]，然后带入 f(x) 求平均，即![E\_\{x \\sim p\}\[f(x)\]\\approx \\frac\{1\}\{N\}\\sum\_\{i=1\}^\{N\}f(x^i)][E_x _sim p_f_x_approx _frac_1_N_sum_i_1_N_f_x_i]。现在假设我们不能从分布 p 中 sample 数据，只能从分布 q 中 sample，这样不能直接套上述近似。而要用：![E\_\{x \\sim p\}\[f(x)\]=\\int f(x)p(x)dx = \\int f(x)\\frac\{p(x)\}\{q(x)\}q(x)dx = E\_\{x \\sim q\}\[f(x)\\frac\{p(x)\}\{q(x)\}\]][E_x _sim p_f_x_int f_x_p_x_dx _ _int f_x_frac_p_x_q_x_q_x_dx _ E_x _sim q_f_x_frac_p_x_q_x]。

![\\int f(x)p(x)dx][int f_x_p_x_dx] 就是从 p 中 sample 的期望，现在要改为分布 q，所以同时乘 q 除 q，**最后多出一项![70 3][]即为 importance weight，代表分布 p 和分布 q 间的差异。**

## Importance Sampling 存在的问题： ##

![70 4][]

![E\_\{x \\sim p\}\[f(x)\] = E\_\{x \\sim q\}\[f(x)\\frac\{p(x)\}\{q(x)\}\]][E_x _sim p_f_x_ _ E_x _sim q_f_x_frac_p_x_q_x] 成立，但是二者的方差（variance）不同，多出来的一项在上图用红框圈出。所以如果对于两个分布p、q sample 得足够多，那么可以用上述公式算期望，但是如果 sample 得不多，二者的方差又相差很大，那么这样算就有问题。

![70 5][]

这幅图具体说明了上述问题：蓝线代表 p 的分布，绿线代表 q 分布，红线代表 ![f(x)][f_x] 函数，现在我们要从 p、q 分布中 sample 出 x ，投到 ![f(x)][f_x] 中计算。可以看出 p、q 分布对于 ![f(x)][f_x] 的计算而言差别是很大的，因为在蓝线附近 sample 到的 x 丢到 ![f(x)][f_x] 中算出来的是负值，而绿线附近 sample 到的 x 丢到 ![f(x)][f_x] 中算出的是正值。

现在我们关注右边![E\_\{x \\sim q\}\[f(x)\\frac\{p(x)\}\{q(x)\}\]][E_x _sim q_f_x_frac_p_x_q_x]  这项，如果对 q 分布 sample 得不够多，只在红线右边得到 6 个绿点，那么 ![p(x)][p_x]、![q(x)][q_x]、![f(x)][f_x] 都是正的，![E\_\{x \\sim q\}\[f(x)\\frac\{p(x)\}\{q(x)\}\]][E_x _sim q_f_x_frac_p_x_q_x]  恒为正；但是如果 sample 到红线左边的 1 个绿点（概率很小），**则f(x)为负，同时 ![f(x)][f_x] 乘上的 importance weight ![\\frac\{p(x)\}\{q(x)\}][frac_p_x_q_x] 是一个很大的正值，这样会得到一个比较大的负值，对期望起到平衡作用，期望有可能变成负的。**所以我们要求  ![\\theta , \\theta'][theta _ _theta]  要比较接近。

现在 off-policy 就是让 ![p\_\{\\theta'\}(\\tau)][p_theta_tau] 给  ![p\_\{\\theta\}(\\tau)][p_theta_tau 1] 做示范，即从 ![p\_\{\\theta'\}(\\tau)][p_theta_tau] 的分布 sample 数据，同时用 importance weight 做修正。

## 使用 off-policy，使用梯度做参数更新时要注意的点： ##

![70 6][]

用 off-policy 要注意的一点就是原来 advantage function中  ![A^\\theta (s\_t,a\_t)=R(\\tau^n)-b][A_theta _s_t_a_t_R_tau_n_-b] （见第一讲） 的 ![\\theta][theta] 也要改为 ![\\theta'][theta 2]，因为现在是 ![\\pi\_\{\\theta'\}][pi_theta 1] 在和环境互动。

我们估计 ![\\frac\{p\_\\theta(s\_t)\}\{p\_\{\\theta'\} (s\_t)\}][frac_p_theta_s_t_p_theta_ _s_t] =1，因为猜测 state 的出现与 ![\\theta][theta] 关系不大，**况且这一项本来就无法计算，因为state出现的概率我们是不能控制或估计的。**

由此可以得到新的目标函数 ![J^\{\\theta'\}(\\theta)=E\_\{(s\_t,a\_t)\\sim \\pi\_\{\\theta'\}\}\[\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta'\}(a\_t|s\_t)\}A^\{\\theta'\}(s\_t,a\_t)\]][J_theta_theta_E_s_t_a_t_sim _pi_theta_frac_p_theta_a_t_s_t_p_theta_a_t_s_t_A_theta_s_t_a_t] 。上标 ![\\theta'][theta 2] 代表跟环境互动的是 ![\\theta'][theta 2] ， ![\\theta][theta] 是要更新的参数。

![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta'\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_a_t_s_t] 可以直接算，![A^\{\\theta'\}(s\_t,a\_t)][A_theta_s_t_a_t] 可以根据 sample 到的数据计算。

## PPO / TRPO 算法： ##

![70 7][]

![70 8][]

我们之前提到要求  ![\\theta , \\theta'][theta _ _theta]  比较接近，所以提出了 PPO 算法，在目标函数 ![J^\{\\theta'\}(\\theta)][J_theta_theta] 后**加了一个约束KL散度** ![\\beta KL(\\theta,\\theta')][beta KL_theta_theta]，来保证  ![\\theta , \\theta'][theta _ _theta]  的相似性，**这个约束就像深度学习中的正则化项**。TRPO也是同样的思想，但是很难计算，建议就用PPO。

**KL散度在意的是actor行为上的差距而不是参数上的差距。**

**TODO**

![\\beta][beta] 其实和学习率有点类似，需要手动设置。我们可以**设定两个阈值 ![KL\_\{max\}][KL_max] 和 ![KL\_\{min\}][KL_min] ，如果算出来的 KL散度![\\beta KL(\\theta,\\theta')][beta KL_theta_theta] 大于 ![KL\_\{max\}][KL_max] ，说明**  ![\\theta , \\theta^k][theta _ _theta_k]  **相差太大，需要加大![\\beta][beta] ，加大惩罚。反之则减小![\\beta][beta] ，减小惩罚。**

## PPO / PPO2 的目标函数公式： ##

![70 9][]

还有一种PPO2，是PPO的简化。PPO2原始的公式为：

![70 10][]

里面是对 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}A^\{\\theta^k\}(s\_t,a\_t)][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t_A_theta_k_s_t_a_t] 和 ![clip(\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\},1-\\varepsilon ,1+\\varepsilon )A^\{\\theta^k\}(s\_t,a\_t)][clip_frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t_1-_varepsilon _1_varepsilon _A_theta_k_s_t_a_t] 取最小值 min。

![clip(\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\},1-\\varepsilon ,1+\\varepsilon )A^\{\\theta^k\}(s\_t,a\_t)][clip_frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t_1-_varepsilon _1_varepsilon _A_theta_k_s_t_a_t] 中 **clip 函数**的意思是如果 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t] 小于 ![1-\\varepsilon][1-_varepsilon]，则取 ![1-\\varepsilon][1-_varepsilon]；若 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t] 大于 ![1+\\varepsilon][1_varepsilon] 则取 ![1+\\varepsilon][1_varepsilon] ；若介于两者之间，则取 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t] 。**clip函数的图像**为：

![70 11][]

其中横轴为 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t]。

现在综合考虑 min 中的两项，第二项对应上图蓝色的折线，第一项对应下图绿色的斜线，若A>0，则取下图左边红线部分，若A<0则取下图右边红色部分。

这个式子其实就是让 ![\\theta][theta] 和 ![\\theta^k][theta_k] 不要差距太大。**如果A（advantage function）>0，代表当前的action是好的，所以我们希望 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] 越大越好（即横轴代表的 ![\\frac\{p\_\\theta(a\_t|s\_t)\}\{p\_\{\\theta^k\}(a\_t|s\_t)\}][frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t] 增大），但是 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] 和 ![p\_\{\\theta^k\}(a\_t|s\_t)][p_theta_k_a_t_s_t] 二者不能相差太多，所以设了一个上界 ![1+\\varepsilon][1_varepsilon] （上图左边）；A<0，则说明当前的按传统不好，所以希望 ![p\_\\theta(a\_t|s\_t)][p_theta_a_t_s_t] 越小越好，但同样要设一个下界 ![1-\\varepsilon][1-_varepsilon] 。**

## PPO / PPO2 等方法的实验效果： ##

![70 12][]

上图给出了PPO在不同任务上的表现（紫色的线）

[70]: /images/20220505/c4f08676909e4a62bb3aeb33d125aadd.png
[https_www.bilibili.com_video_av24724071]: https://www.bilibili.com/video/av24724071
[http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS18.html]: http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
[2018_P1 Policy Gradient_Review]: https://blog.csdn.net/qq_36829091/article/details/83213707
[2018_P3 Q-learning_Basic Idea]: https://blog.csdn.net/qq_36829091/article/details/84111047
[70 1]: /images/20220505/46a70fca61b845a994b034c83a81ee16.png
[70 2]: /images/20220505/dc766ec2911e4fb5bf6e724eccac4803.png
[theta]: https://private.codecogs.com/gif.latex?%5Ctheta
[R_theta]: https://private.codecogs.com/gif.latex?R_%5Ctheta
[bar_R_theta]: https://private.codecogs.com/gif.latex?%5Cbar%7BR_%5Ctheta%7D
[nabla _bar_R_theta]: https://private.codecogs.com/gif.latex?%5Cnabla%20%5Cbar%7BR_%5Ctheta%7D
[E_tau _sim p_theta_tau]: https://private.codecogs.com/gif.latex?E_%7B%5Ctau%20%5Csim%20p_%5Ctheta%28%5Ctau%29%7D
[tau]: https://private.codecogs.com/gif.latex?%5Ctau
[theta 1]: https://private.codecogs.com/gif.latex?%5Ctheta%20%27
[pi_theta]: https://private.codecogs.com/gif.latex?%5Cpi_%7B%5Ctheta%20%27%7D
[E_x _sim p_f_x]: https://private.codecogs.com/gif.latex?E_%7Bx%20%5Csim%20p%7D%5Bf%28x%29%5D
[x_i]: https://private.codecogs.com/gif.latex?x%5Ei
[E_x _sim p_f_x_approx _frac_1_N_sum_i_1_N_f_x_i]: https://private.codecogs.com/gif.latex?E_%7Bx%20%5Csim%20p%7D%5Bf%28x%29%5D%5Capprox%20%5Cfrac%7B1%7D%7BN%7D%5Csum_%7Bi%3D1%7D%5E%7BN%7Df%28x%5Ei%29
[E_x _sim p_f_x_int f_x_p_x_dx _ _int f_x_frac_p_x_q_x_q_x_dx _ E_x _sim q_f_x_frac_p_x_q_x]: https://private.codecogs.com/gif.latex?E_%7Bx%20%5Csim%20p%7D%5Bf%28x%29%5D%3D%5Cint%20f%28x%29p%28x%29dx%20%3D%20%5Cint%20f%28x%29%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7Dq%28x%29dx%20%3D%20E_%7Bx%20%5Csim%20q%7D%5Bf%28x%29%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7D%5D
[int f_x_p_x_dx]: https://private.codecogs.com/gif.latex?%5Cint%20f%28x%29p%28x%29dx
[70 3]: /images/20220505/8c61b3f60f444746bba605de68f609a6.png
[70 4]: /images/20220505/18af21ba166f4d9db5079b907c540489.png
[E_x _sim p_f_x_ _ E_x _sim q_f_x_frac_p_x_q_x]: https://private.codecogs.com/gif.latex?E_%7Bx%20%5Csim%20p%7D%5Bf%28x%29%5D%20%3D%20E_%7Bx%20%5Csim%20q%7D%5Bf%28x%29%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7D%5D
[70 5]: /images/20220505/249a9429097a481ea55af09e5909337c.png
[f_x]: https://private.codecogs.com/gif.latex?f%28x%29
[E_x _sim q_f_x_frac_p_x_q_x]: https://private.codecogs.com/gif.latex?E_%7Bx%20%5Csim%20q%7D%5Bf%28x%29%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7D%5D
[p_x]: https://private.codecogs.com/gif.latex?p%28x%29
[q_x]: https://private.codecogs.com/gif.latex?q%28x%29
[frac_p_x_q_x]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7D
[theta _ _theta]: https://private.codecogs.com/gif.latex?%5Ctheta%20%2C%20%5Ctheta%27
[p_theta_tau]: https://private.codecogs.com/gif.latex?p_%7B%5Ctheta%27%7D%28%5Ctau%29
[p_theta_tau 1]: https://private.codecogs.com/gif.latex?p_%7B%5Ctheta%7D%28%5Ctau%29
[70 6]: /images/20220505/2e8317482db7429ea1f8ad89f1bb98df.png
[A_theta _s_t_a_t_R_tau_n_-b]: https://private.codecogs.com/gif.latex?A%5E%5Ctheta%20%28s_t%2Ca_t%29%3DR%28%5Ctau%5En%29-b
[theta 2]: https://private.codecogs.com/gif.latex?%5Ctheta%27
[pi_theta 1]: https://private.codecogs.com/gif.latex?%5Cpi_%7B%5Ctheta%27%7D
[frac_p_theta_s_t_p_theta_ _s_t]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bp_%5Ctheta%28s_t%29%7D%7Bp_%7B%5Ctheta%27%7D%20%28s_t%29%7D
[J_theta_theta_E_s_t_a_t_sim _pi_theta_frac_p_theta_a_t_s_t_p_theta_a_t_s_t_A_theta_s_t_a_t]: https://private.codecogs.com/gif.latex?J%5E%7B%5Ctheta%27%7D%28%5Ctheta%29%3DE_%7B%28s_t%2Ca_t%29%5Csim%20%5Cpi_%7B%5Ctheta%27%7D%7D%5B%5Cfrac%7Bp_%5Ctheta%28a_t%7Cs_t%29%7D%7Bp_%7B%5Ctheta%27%7D%28a_t%7Cs_t%29%7DA%5E%7B%5Ctheta%27%7D%28s_t%2Ca_t%29%5D
[frac_p_theta_a_t_s_t_p_theta_a_t_s_t]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bp_%5Ctheta%28a_t%7Cs_t%29%7D%7Bp_%7B%5Ctheta%27%7D%28a_t%7Cs_t%29%7D
[A_theta_s_t_a_t]: https://private.codecogs.com/gif.latex?A%5E%7B%5Ctheta%27%7D%28s_t%2Ca_t%29
[70 7]: /images/20220505/840bde7362c94bb29c777a647cca1261.png
[70 8]: /images/20220505/f08c68314c0e4d47b4ff7e6694c90cf4.png
[J_theta_theta]: https://private.codecogs.com/gif.latex?J%5E%7B%5Ctheta%27%7D%28%5Ctheta%29
[beta KL_theta_theta]: https://private.codecogs.com/gif.latex?%5Cbeta%20KL%28%5Ctheta%2C%5Ctheta%27%29
[beta]: https://private.codecogs.com/gif.latex?%5Cbeta
[KL_max]: https://private.codecogs.com/gif.latex?KL_%7Bmax%7D
[KL_min]: https://private.codecogs.com/gif.latex?KL_%7Bmin%7D
[theta _ _theta_k]: https://private.codecogs.com/gif.latex?%5Ctheta%20%2C%20%5Ctheta%5Ek
[70 9]: /images/20220505/6ddf49fb0e1d4c3782260b54ab926ff8.png
[70 10]: /images/20220505/55b7dd1e6ae84cd4ab1cf9d1ef0c1432.png
[frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t_A_theta_k_s_t_a_t]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bp_%5Ctheta%28a_t%7Cs_t%29%7D%7Bp_%7B%5Ctheta%5Ek%7D%28a_t%7Cs_t%29%7DA%5E%7B%5Ctheta%5Ek%7D%28s_t%2Ca_t%29
[clip_frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t_1-_varepsilon _1_varepsilon _A_theta_k_s_t_a_t]: https://private.codecogs.com/gif.latex?clip%28%5Cfrac%7Bp_%5Ctheta%28a_t%7Cs_t%29%7D%7Bp_%7B%5Ctheta%5Ek%7D%28a_t%7Cs_t%29%7D%2C1-%5Cvarepsilon%20%2C1&plus;%5Cvarepsilon%20%29A%5E%7B%5Ctheta%5Ek%7D%28s_t%2Ca_t%29
[frac_p_theta_a_t_s_t_p_theta_k_a_t_s_t]: https://private.codecogs.com/gif.latex?%5Cfrac%7Bp_%5Ctheta%28a_t%7Cs_t%29%7D%7Bp_%7B%5Ctheta%5Ek%7D%28a_t%7Cs_t%29%7D
[1-_varepsilon]: https://private.codecogs.com/gif.latex?1-%5Cvarepsilon
[1_varepsilon]: https://private.codecogs.com/gif.latex?1&plus;%5Cvarepsilon
[70 11]: /images/20220505/c5349b7041b04e1994989f505cac8cbc.png
[theta_k]: https://private.codecogs.com/gif.latex?%5Ctheta%5Ek
[p_theta_a_t_s_t]: https://private.codecogs.com/gif.latex?p_%5Ctheta%28a_t%7Cs_t%29
[p_theta_k_a_t_s_t]: https://private.codecogs.com/gif.latex?p_%7B%5Ctheta%5Ek%7D%28a_t%7Cs_t%29
[70 12]: /images/20220505/809b2ad0e59e47a59d24d9265a9a62e3.png