快乐的强化学习3——环境模块gym的调用

阳光穿透心脏的1/2处 2021-11-29 10:38 1234阅读 0赞

### 快乐的强化学习3——环境模块gym的调用 ###

*  学习前言
 *   *  gym模块的安装
     *  gym模块中环境的常用函数
     *   *  gym的初始化
         *  gym的各个参数的获取
         *  刷新环境
         *  刷新环境
     *  应用实例

终于要安装gym模块了，一想到我可以去测试其它的强化学习环境，突然有点小兴奋。  
![在这里插入图片描述][20190723132555539.jpg_pic_center]  
但是听说windows不能安装OpenAI gym，我的想法是这样的。  
![在这里插入图片描述][20190723132656695.jpg_pic_center]  
不过我还是怀着好奇宝宝的内心决定实验一下……好的还是成功了!

# 学习前言 #

在通常的情况下，手动编写强化学习环境是一件非常耗时间的事情，所以如果能够调用其它人已经编写好的环境，我们就可以节约很多时间，将更多的时间用于关注算法本身。这个时候我们就要用到OpenAI的gym模块。这个模块为我们提供了许多现成的环境用于测试我们的RL算法。

## gym模块的安装 ##

现在在Windows下也基本支持了gym模块的使用。我们只要打开cmd命令行窗口。  
![打开命令行cmd][cmd]  
在命令行中输入：

pip install gym

即可。  
在安装的时候可能会遇到一些错误，我遇到的错误是：

cannot uninstall a distutils installed project

解决方法可以参照我转载的博文：[https://blog.csdn.net/weixin\_44791964/article/details/96761819][https_blog.csdn.net_weixin_44791964_article_details_96761819]

## gym模块中环境的常用函数 ##

### gym的初始化 ###

env = gym.make('CartPole-v0')   
    # 定义使用gym库中的某一个环境，'CartPole-v0'可以改为其它环境
    env = env.unwrapped             
    # 据说不做这个动作会有很多限制，unwrapped是打开限制的意思

### gym的各个参数的获取 ###

env.action_space   		
    # 查看这个环境中可用的action有多少个，返回Discrete()格式
    env.observation_space   
    # 查看这个环境中observation的特征，返回Box()格式
    n_actions=env.action_space.n 
    # 查看这个环境中可用的action有多少个，返回int
    n_features=env.observation_space.shape[0] 
    # 查看这个环境中observation的特征有多少个，返回int

### 刷新环境 ###

env.reset()
    # 用于一个世代（done）后环境的重启，获取回合的第一个observation
    env.render()	
    # 用于每一步后刷新环境状态

### 刷新环境 ###

observation_, reward, done, info = env.step(action)
    # 获取下一步的环境、得分、检测是否完成。

## 应用实例 ##

这是一个板子支撑杆子的例子，支撑的越久得分越高，同时杆子不能移出屏幕外，不能倾斜过大。  
实际上像这个样子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]  
测试代码为：

import gym
    import math
    from RL_brain import DeepQNetwork
    
    env = gym.make('CartPole-v0')   # 定义使用gym库中的某一个环境，'CartPole-v0'可以改为其它环境
    env = env.unwrapped             # 据说不做这个动作会有很多限制，unwrapped是打开限制的意思
    
    print(env.action_space)             # 查看这个环境中可用的action有多少个，返回Discrete()格式
    print(env.observation_space)        # 查看这个环境中observation的特征，返回Box()格式
    
    # 定义使用 DQN 的算法，
    # n_actions=env.action_space.n用于查看这个环境中可用的action有多少个，返回int
    # n_features=env.observation_space.shape[0]用于查看这个环境中observation的特征有多少个，返回int
    # replace_target_iter=100代表每学习一百次将Net_Pre的参数赋予Net_Next
    RL = DeepQNetwork(n_actions=env.action_space.n,
                      n_features=env.observation_space.shape[0],
                      learning_rate=0.01, e_greedy=0.9,
                      replace_target_iter=100, memory_size=2000,
                      e_greedy_increment=0.0008,)
    
    # 记录步数
    total_steps = 0 
    
    for i in range(100):
        # 获取回合 i 第一个 observation
        observation = env.reset()
        #每一轮得分的合集
        ep_r = 0
        while True:
            # 用于每一步后刷新环境状态
            env.render()    
            
            # 根据当前心目中预测的状态选行为
            action = RL.choose_action(observation)  
    
            # 获取下一步的环境、得分、检测是否完成。
            observation_, reward, done, info = env.step(action) 
    
            # 通过查找源代码发现observation_由以下四个特征构成。
            # x 是车的水平位移
            # theta 是棒子离垂直的角度
            x, x_dot, theta, theta_dot = observation_   
    
            # r1代表车的 x水平位移 与 x最大边距 的距离差的得分
            r1 = math.exp((env.x_threshold - abs(x))/env.x_threshold) - math.exp(1)/2
            # r2代表棒子的 theta离垂直的角度 与 theta最大角度 的差的得分
            r2 = math.exp((env.theta_threshold_radians - abs(theta))/env.theta_threshold_radians) - math.exp(1)/2
            # 总 reward 是 r1 和 r2 的结合, 既考虑位置, 也考虑角度。
            reward = r1 + r2   
    
            # 保存这一组记忆
            RL.store_transition(observation, action, reward, observation_)
            
    
            # 在数据具有一定规模后进行学习
            if total_steps > 1000:
                RL.learn() 
    
            #记录总分
            ep_r += reward
            if done:
                print('世代: ', i,'。总分: ', round(ep_r, 2))
                break
            
            #环境更新
            observation = observation_
            total_steps += 1
            
    # 最后输出 cost 曲线
    RL.plot_cost()

RL\_brain的代码可以从我的另一篇博文中得到：  
[https://blog.csdn.net/weixin\_44791964/article/details/96422796][https_blog.csdn.net_weixin_44791964_article_details_96422796]  
细心的同学可能观察到我并没有直接使用

observation_, reward, done, info = env.step(action)

返回的reward值，而是重新定义了。因为我试了直接用原来reward值效果并不好。我定义的reward值由两部分组成，分别是：

r1 = math.exp((env.x_threshold - abs(x))/env.x_threshold) - math.exp(1)/2
    # r1代表车的 x水平位移 与 x最大边距 的距离差的得分
    r2 = math.exp((env.theta_threshold_radians - abs(theta))/env.theta_threshold_radians) - math.exp(1)/2
    # r2代表棒子的 theta离垂直的角度 与 theta最大角度 的差的得分

这些参数需要去查询CartPole的源文件才可以得到。  
我是通过在C:\\Anaconda3\\envs\\tensorflow-gpu\\Lib里搜索得到的。  
这个环境里有详细的描述，需要大家好好看看噢！  
![CartPole的源文件][CartPole]  
希望得到朋友们的喜欢。  
**有不懂的朋友可以评论询问噢。**

[20190723132555539.jpg_pic_center]: /images/20211129/f1acbf1290084b6d88059a2e3170d367.png
[20190723132656695.jpg_pic_center]: /images/20211129/6bb20029198d40be97ebc005a0fa1556.png
[cmd]: /images/20211129/e05c5997b6854050a399d54ba282adc9.png
[https_blog.csdn.net_weixin_44791964_article_details_96761819]: https://blog.csdn.net/weixin_44791964/article/details/96761819
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc5MTk2NA_size_16_color_FFFFFF_t_70_pic_center]: /images/20211129/dbd5483e8c31495cb7df4a447d26d6fc.png
[https_blog.csdn.net_weixin_44791964_article_details_96422796]: https://blog.csdn.net/weixin_44791964/article/details/96422796
[CartPole]: /images/20211129/70a1fce9056d4ede872ca420a49aba60.png