model-based和model-free

约定不等于承诺〃 2022-11-15 11:47 186阅读 0赞

**判断model-based和model-free最基本的原则是：有没有可依据的model，也就是经过policy得到action之前，它是否能对下一步的状态和回报做出预测，如果可以，那么就是model-based方法，如果不能，即为model-free方法。**  
或者：  
Model-free 以及Model-based 的最大区别是：**是否有对环境建模**。 Model-free 的算法不会对环境进行建模，直接根据和环境交互过程中产生的数据\[公式\] 来迭代算法。相反的是，  
Model-based 类的算法则会对环境进行建模。建模的模型一般被称为World Model，这个World Model 会对交互中的环境进行建模，预测环境在执行了特定的动作 \[公式\] 之后下一个状态 \[公式\] 会是什么，机器人得到的奖励 \[公式\] 是多少，以及下一个状态是否是终止态。由于常见的算法比如Q-learning，SARSA，Policy Gradient都是在Model-free 这个分支里面。

在**Model-free** 算法里面，最为常见的分类方案是根据模型的表示方式来对算法进行分类。在这种分类方法中，RL算法可以划分为3个类别:

*  Critic-only
 *  Actor-only
 *  Actor-critic

在Critic-only 类算法中，模型只有值评估函数。比如用Q函数 \[公式\] 衡量在特定的状态 \[公式\] 下执行动作 \[公式\] 之后当前策略能够拿到的期望reward。这类算法的决策方式是：在特定在状态 \[公式\] 下枚举动作空间 \[公式\] 下所有可能的动作 \[公式\] ，然后选出一个最大Q值的action \[公式\] 作为执行的动作 \[公式\] 。即 \[公式\] 。

在Actor-only类算法中，模型是通过一个策略函数 \[公式\] 来表示。这类算法的决策方式相当直观，把 \[公式\] 输入给策略函数 \[公式\] 之后，模型直接给出一个 \[公式\] 来执行。

在Actor-critic 算法中，模型通过同时学习值评估函数以及策略函数一起强化算法。（知乎上的一个图）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]

第二种分类方式是根据模型的学习特性来区分的，一般可以分为：

*  On-policy
 *  Off-policy

这里参照Sutton的经典书籍（Reinforcement Learning: An Introduction)里面的定义：把正在产生交互数据的policy定义为behavior policy，我们正在通过训练来优化的policy定义为training policy，如果这两个policy 是一样的话该算法就被称之为On-policy,否则该学习算法是一个Off-policy 算法。按照这种分类方式，强化学习的常用算法可以总结为：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]

下一篇将详细介绍这些算法。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]: /images/20221022/b98e8aeac32e4d4c841f21e5002a335d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]: /images/20221022/cc89560a2a5f499fa644b791b8c3202b.png