【深度强化学习】值函数逼近的详解（图文解释）

男娘i 2023-09-30 18:17 3阅读 0赞

> **觉得有帮助请点赞关注收藏~~~**

## 值函数逼近 ##

对于取实数值R的动作值函数Q(s,a)来说，它是状态空间S和动作空间A的笛卡尔积到实数集的映射：S×A→R

该映射问题可以看作是机器学习中的回归问题，因此，求解回归问题的模型都可以用来求得该映射。

其基本方法一般是先确定逼近的结构，然后通过样本集来迭代优化结构的参数。这种事先确定结构，再优化参数的逼近方法，称为参数化逼近。参数化逼近又分为线性逼近和非线性逼近，它们分别采用线性和非线性的结构，前者如线性回归模型，后者如神经网络模型等等。

求解回归问题的关键问题包括模型、样本、损失函数和优化等方面。

### 1.模型 ###

将逼近动作值函数Q(s,a)的模型结构记为Q ̂(x(s,a),θ)，其中θ是待优化的参数向量，x(s,a)是由s和a按全排列组成的向量，共有|S|×|A|个可能取值。x(s,a)也可以看作是通过特征工程从状态和动作中提取的特征组成的向量。

当采用线性逼近时，动作值函数的逼近可表示为：

![674087d4baa747e09629b1e501c4f035.png][]

其中，指定x^(0)=1，指定θ^(0)=b是线性模型的偏置。

### 2.样本 ###

记长度为T的轨迹τ=(s\_0,a\_0,s\_1,a\_1,…s\_T−1,a\_T−1)，立即回报序列为：R=(r\_1,r\_2,…,r\_T)，累积折扣回报序列为：G=(G\_0,G\_1,…,G\_T−1)，其中G\_t=r\_t+1+γr\_t+2+γ^2r\_t+3+…+γ^T−1−tr\_T=∑\_k=0^T−1−t▒γ^kr\_t+1+k。

基于蒙特卡罗法生成的训练样本为：s\_t=(x(s\_t,a\_t),G\_t)，其中，x(s\_t,a\_t)是实例，G\_t是对应的标签。

基于时序差分法生成的训练样本为：s\_t=(x(s\_t,a\_t),r\_t+1+γQ ̂(x(s\_t+1,a\_t+1),θ))，其中，x(s\_t,a\_t)是实例，r\_t+1+γQ ̂(x(s\_t+1,a\_t+1),θ)是对应的标签。

### 3.损失函数 ###

对基于蒙特卡罗法生成的训练样本来说，单个样本s\_t=(x(s\_t,a\_t),G\_t)产生的平方误差损失函数为：

![9104ce8581254afb872541f39644f61c.png][]

对基于时序差分法生成的训练样本来说，单个样本s\_t=(x(s\_t,a\_t),r\_t+1+γQ ̂(x(s\_t+1,a\_t+1),θ))产生的平方误差损失函数为：

![6d42ab756b0f4532807a56cb40f6330b.png][]

### 4.优化 ###

参数θ的优化可采用多种方法，常用梯度下降法，其迭代关系式为：

![ac3115d74ee14c0897b2ce9316108282.png][]

如果采用线性逼近，对蒙特卡罗法生成样本的损失函数，梯度为：

![61bae0c85f664e01baf7c767dded67ef.png][]

如果采用线性逼近，对时序差分法生成样本的损失函数，梯度为：

![cd60b07a50f8443b92825907017403b4.png][]

上式只对预测值x(s\_t,a\_t)θ\_i^T进行了求导，忽略了对样本标签(r\_i+1+γx(s\_t+1,a\_t+1)θ\_i^T)的求导，可见此时并非完全的梯度法，此方法称为半梯度法。

### 基于值函数逼近的时序差分法基本流程 ###

（2）和（4）步操作中的Q(s,a)用逼近函数Q ̂(x(s,a),θ)来计算。 当采用同策略的Sarsa法时，（5-1）步操作中的值函数的更新在参数化逼近中表现为参数θ的更新：

![a2f480b7024945619559b9817c7366f7.png][]

![f94b4df219f74824a4a090676fed218f.png][]

当采用异策略的Qlearning法时，（5-2）步中参数θ的更新采用贪心策略：

![591bb6a965fc41b38bfd2f48053143c1.png][]

**创作不易 觉得有帮助请点赞关注收藏~~~**

[674087d4baa747e09629b1e501c4f035.png]: https://img-blog.csdnimg.cn/674087d4baa747e09629b1e501c4f035.png
[9104ce8581254afb872541f39644f61c.png]: https://img-blog.csdnimg.cn/9104ce8581254afb872541f39644f61c.png
[6d42ab756b0f4532807a56cb40f6330b.png]: https://img-blog.csdnimg.cn/6d42ab756b0f4532807a56cb40f6330b.png
[ac3115d74ee14c0897b2ce9316108282.png]: https://img-blog.csdnimg.cn/ac3115d74ee14c0897b2ce9316108282.png
[61bae0c85f664e01baf7c767dded67ef.png]: https://img-blog.csdnimg.cn/61bae0c85f664e01baf7c767dded67ef.png
[cd60b07a50f8443b92825907017403b4.png]: https://img-blog.csdnimg.cn/cd60b07a50f8443b92825907017403b4.png
[a2f480b7024945619559b9817c7366f7.png]: https://img-blog.csdnimg.cn/a2f480b7024945619559b9817c7366f7.png
[f94b4df219f74824a4a090676fed218f.png]: https://img-blog.csdnimg.cn/f94b4df219f74824a4a090676fed218f.png
[591bb6a965fc41b38bfd2f48053143c1.png]: https://img-blog.csdnimg.cn/591bb6a965fc41b38bfd2f48053143c1.png