[ML-01] 机器学习概述-2

﹏ヽ暗。殇╰゛Y 2022-11-26 01:41 232阅读 0赞

## 四、机器学习工作流程 ##

### 1 什么是机器学习 ###

机器学习是从**数据**中**自动分析获得模型**，并利用**模型**对未知数据进行预测。

![在这里插入图片描述][20200810001837553.png]

### 2 机器学习工作流程 ###

![在这里插入图片描述][20200810001901744.png]

*  机器学习工作流程总结
    
     *  **1.获取数据**
     *  **2.数据基本处理**
     *  **3.特征工程**
     *  **4.机器学习(模型训练)**
     *  5.模型评估
        
         *  结果达到要求，上线服务
         *  没有达到要求，重新上面步骤

#### 2.1 获取到的数据集介绍 ####

![在这里插入图片描述][20200810002013674.png]  
![在这里插入图片描述][20200810002013237.png]  
![在这里插入图片描述][20200810002037830.png]

*  **数据简介**
    
    在数据集中一般：
    
     *  一行数据我们称为一个**样本**
     *  一列数据我们成为一个**特征**
     *  有些数据有**目标值（标签值）**，有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）
 *  **数据类型构成：**
    
     *  数据类型一：特征值+目标值（目标值是连续的和离散的）
     *  数据类型二：只有特征值，没有目标值
 *  **数据分割：**
    
     *  机器学习一般的数据集会划分为两个部分：
        
         *  训练数据：用于训练，**构建模型**
         *  测试数据：在模型检验时使用，用于**评估模型是否有效**
     *  划分比例：
        
         *  训练集：70% 80% 75%
         *  测试集：30% 20% 25%

#### 2.2 数据基本处理 ####

即对数据进行缺失值、去除异常值等处理

#### 2.3 特征工程 ####

##### 2.3.1什么是特征工程 #####

特征工程是使用**专业背景知识和技巧处理数据**，**使得特征能在机器学习算法上发挥更好的作用的过程**。

*  意义：会直接影响机器学习的效果

##### 2.3.2 为什么需要特征工程(Feature Engineering) #####

> 机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”
> 
> 注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

##### 2.3.3 特征工程包含内容 #####

*  特征提取
 *  特征预处理
 *  特征降维

##### 2.3.4 各概念具体解释 #####

*  特征提取
    
     *  将任意数据（如文本或图像）转换为可用于机器学习的数字特征

![在这里插入图片描述][20200810002117880.png]

*  特征预处理
    
     *  通过**一些转换函数**将特征数据**转换成更加适合算法模型**的特征数据过程

![在这里插入图片描述][20200810002137118.png]

*  特征降维
    
     *  指在某些限定条件下，**降低随机变量(特征)个数**，得到**一组“不相关”主变量**的过程

![在这里插入图片描述][20200810002201837.png]

## 五、机器学习算法分类 ##

根据**数据集组成不同**，可以把机器学习算法分为：

*  监督学习
 *  无监督学习
 *  半监督学习
 *  强化学习

### 1 监督学习 ###

*  定义：
    
     *  输入数据是由输入特征值和目标值所组成。
        
         *  函数的输出可以是一个连续的值(称为回归），
         *  或是输出是有限个离散值（称作分类）。

#### 1.1 回归问题 ####

例如：预测房价，根据样本集拟合出一条连续曲线。

![在这里插入图片描述][20200810002224912.png]

#### 1.2 分类问题 ####

例如：根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”，是离散的。

![在这里插入图片描述][20200810002246993.png]

### 2 无监督学习 ###

*  定义：
    
     *  输入数据是由输入特征值组成，没有目标值
        
         *  输入数据没有被标记，也没有确定的结果。样本数据类别未知；
         *  需要根据样本间的相似性对样本集进行类别划分。
    
    举例：
    
    ![在这里插入图片描述][20200810002314334.png]
 *  **有监督，无监督算法对比：**

![在这里插入图片描述][20200810002338389.png]

### 3 半监督学习 ###

*  定义：
    
     *  训练集同时包含有标记样本数据和未标记样本数据。

举例：

*  **监督学习训练方式：**

![在这里插入图片描述][20200810002357911.png]

*  **半监督学习训练方式**

![在这里插入图片描述][20200810002414870.png]

### 4 强化学习 ###

*  定义：
    
     *  实质是make decisions 问题，即自动进行决策，并且可以做连续决策。

举例：

小孩想要走路，但在这之前，他需要先站起来，站起来之后还要保持平衡，接下来还要先迈出一条腿，是左腿还是右腿，迈出一步后还要迈出下一步。

小孩就是 **agent**，他试图通过采取**行动**（即行走）来操纵**环境**（行走的表面），并且从**一个状态转变到另一个状态**（即他走的每一步），当他完成任务的子任务（即走了几步）时，孩子得到**奖励**（给巧克力吃），并且当他不能走路时，就不会给巧克力。

主要包含五个元素：agent, action, reward, environment, observation；

![在这里插入图片描述][2020081000244856.png]

强化学习的目标就是**获得最多的累计奖励**。

监督学习和强化学习的对比

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th><strong>监督学习</strong></th> 
   <th><strong>强化学习</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>反馈映射</td> 
   <td>输出的是之间的关系，可以告诉算法什么样的输入对应着什么样的输出。</td> 
   <td>输出的是给机器的反馈 reward function，即用来判断这个行为是好是坏。</td> 
  </tr> 
  <tr> 
   <td>反馈时间</td> 
   <td>做了比较坏的选择会<strong>立刻反馈给算法</strong>。</td> 
   <td>结果<strong>反馈有延时</strong>，有时候可能需要走了很多步以后才知道以前的某一步的选择是好还是坏。</td> 
  </tr> 
  <tr> 
   <td>输入特征</td> 
   <td>输入是<strong>独立同分布</strong>的。</td> 
   <td>面对的输入总是在变化，每当算法做出一个行为，它影响下一次决策的输入。</td> 
  </tr> 
 </tbody> 
</table>

拓展概念：什么是**独立同分布**：

独立同分布概念

拓展阅读：Alphago进化史 漫画告诉你Zero为什么这么牛：

http://sports.sina.com.cn/chess/weiqi/2017-10-21/doc-ifymyyxw4023875.shtml

### 5 小结 ###

<table> 
 <thead> 
  <tr> 
   <th align="left"></th> 
   <th align="center"><strong>In</strong></th> 
   <th align="center"><strong>Out</strong></th> 
   <th align="center"><strong>目的</strong></th> 
   <th align="center"><strong>案例</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><strong>监督学习</strong> <strong>(supervised learning)</strong></td> 
   <td align="center">有标签</td> 
   <td align="center">有反馈</td> 
   <td align="center">预测结果</td> 
   <td align="center">猫狗分类 房价预测</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>无监督学习</strong> <strong>(unsupervised learning)</strong></td> 
   <td align="center">无标签</td> 
   <td align="center">无反馈</td> 
   <td align="center">发现潜在结构</td> 
   <td align="center">“物以类聚，人以群分”</td> 
  </tr> 
  <tr> 
   <td align="left"><strong>半监督学习</strong> <strong>(Semi-Supervised Learning)</strong></td> 
   <td align="center">部分有标签，部分无标签</td> 
   <td align="center">有反馈</td> 
   <td align="center">降低数据标记的难度</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong>强化学习</strong> <strong>(reinforcement learning)</strong></td> 
   <td align="center">决策流程及激励系统</td> 
   <td align="center">一系列行动</td> 
   <td align="center">长期利益最大化</td> 
   <td align="center">学下棋</td> 
  </tr> 
  <tr> 
   <td align="left">emi-Supervised Learning)**</td> 
   <td align="center">部分有标签，部分无标签</td> 
   <td align="center">有反馈</td> 
   <td align="center">降低数据标记的难度</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong>强化学习</strong> <strong>(reinforcement learning)</strong></td> 
   <td align="center">决策流程及激励系统</td> 
   <td align="center">一系列行动</td> 
   <td align="center">长期利益最大化</td> 
   <td align="center">学下棋</td> 
  </tr> 
 </tbody> 
</table>

[20200810001837553.png]: /images/20221124/ecd842d56de046c49e0eaf80b2894a10.png
[20200810001901744.png]: /images/20221124/b20ae957497041038ebf8fd575fa6143.png
[20200810002013674.png]: /images/20221124/8db438b53a714f19ae0b5d6ab3c6b08e.png
[20200810002013237.png]: /images/20221124/62d4ef910b084d98b844de1ade6ea8bc.png
[20200810002037830.png]: /images/20221124/b3f861e018d04e5e9dbfdf388916910f.png
[20200810002117880.png]: /images/20221124/3062bc5a7e3743e68a1039c9be735284.png
[20200810002137118.png]: /images/20221124/f439aeb4416a412cafc9e37f27127cca.png
[20200810002201837.png]: /images/20221124/8267cf444f2e43b38dc20c44e49cf0f7.png
[20200810002224912.png]: /images/20221124/7280f9ccb8f14e41813f2ab91d3b9d7f.png
[20200810002246993.png]: /images/20221124/f02351f4570849649671e516efdc26b1.png
[20200810002314334.png]: /images/20221124/f9b5676db3744472b268c8f34109043b.png
[20200810002338389.png]: /images/20221124/b758fb448c7c455cabb1073eebcce3c3.png
[20200810002357911.png]: /images/20221124/d110a9dce757419f94d544a548449f94.png
[20200810002414870.png]: /images/20221124/3920db11fd314cc7b13fb984c29eb424.png
[2020081000244856.png]: /images/20221124/dcc2e464eb444d26b4d0b24375b4ac39.png