【ML吴恩达】6 数据集的划分以及回归模型评估指标

叁歲伎倆 2022-12-24 13:57 157阅读 0赞

### 目录 ###

*  1 训练集测试集的划分以及模型评估
 *   *  1.1 测试集是训练集的一部分
     *  1.2 训练集和测试集不相交
 *  2 评估指标
 *   *  2.1 回归准确率linear accuracy
     *  2.2 模型错误指标
 *  3 复合回归模型
 *   *  3.1 复合回归模型的例子
     *  3.2 复合回归预测连续值
     *  3.3 问答

# 1 训练集测试集的划分以及模型评估 #

训练集和测试集的划分有以下两种方式。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]

## 1.1 测试集是训练集的一部分 ##

Train and Test on the Same Dataset  
测试集来自训练集中。测试集是训练集中的一部分。具有高的训练准确率，很低的out-of-sample准确率。  
What is training & out-of-sample accuracy?

*  Training Accuracy
    
     *  训练时候的高准确率不是一个好的事情
     *  结果的过拟合（过拟合就是模型过度训练，提取了太多了噪声并产生了一个模糊的模型）
 *  Out-of-Sample accuracy超过样本准确率
    
     *  我们的模型必须要有高的out-of-Sample准确率
     *  如何提高out-of-accuracy

## 1.2 训练集和测试集不相交 ##

Train/Test Split  
训练集和测试集是不一样的数据。数据是互斥的，有更高的out-of-sample准确率。  
问：How to use K-fold cross-validation ?  
答：利用K折交叉验证  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]

把数据集分为四部分，每个部分分别取训练得到准确率，然后取四个准确率的平均值。

# 2 评估指标 #

## 2.1 回归准确率linear accuracy ##

## 2.2 模型错误指标 ##

以下6个指标的选择，根据你的模型类型、数据类型、知识领域去决定使用哪个。  
Error:measure of how far the data is from the fitted regression line.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]

![在这里插入图片描述][20201128194040830.png]

平均误差绝对值

![在这里插入图片描述][2020112819421594.png]

均方误差

![在这里插入图片描述][20201128194223767.png]

均方根误差

![在这里插入图片描述][20201128194232254.png]

相对绝对误差

![在这里插入图片描述][20201128194240204.png]

相对均方误差

![在这里插入图片描述][20201128194248139.png]

R均方误差

# 3 复合回归模型 #

## 3.1 复合回归模型的例子 ##

（1）自变量（Independent variables）对预测的有效性  
比如：复习时间、测试紧张程度、出席率、性别对学生考试成绩的影响  
（2）预测变化的影响  
病人的BMI每增加一个单位，血压会增加会减小多少

## 3.2 复合回归预测连续值 ##

举例 比如发动机大小与气缸的数量约Co2的排放量的关系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]

（1）第一步 使用MSE均方误差去评价模型的错误  
![在这里插入图片描述][20201128194321456.png]

（2）第二步 估计复合线性回归的参数  
**方法一**  
最小二乘法（takes a long tim for large datasets(10K+ rows)）  
**方法二**  
最优化算法：梯度下降（适合大数据）  
（3）第三步：预测结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]

## 3.3 问答 ##

（1）How to determine whether to use simple or multipl linear regression?  
一个自变量还是多个自变量。一个自变量选择简单回归，反之。  
（2）How many independent variables should you use?  
过多的自变量没有理论依据容易导致过拟合模型。尽量避免多个自变量去预测，有很多模型可以去避免，但不在这里展开。  
（3）Should the indepent variable be continuous？  
不一定，比如电动车可以表示为0，其他汽车表示为1。连续的变量都可表示我离散的数值。  
（4）What are the linear relationships between the dependent variable and the independent variable?  
有很多办法，比如画出scatter plot，查看他们的线性关系。如果是非线性关系，用非线性回归模型。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]: /images/20221120/8a40359cba614c2c8ddc4237da41d59d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]: /images/20221120/5b2dc82a607c492e958f3708383b288c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]: /images/20221120/c77d2fbcbed648b394984e5498b93ab5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201128194032407.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70
[20201128194040830.png]: https://img-blog.csdnimg.cn/20201128194040830.png
[2020112819421594.png]: https://img-blog.csdnimg.cn/2020112819421594.png
[20201128194223767.png]: https://img-blog.csdnimg.cn/20201128194223767.png
[20201128194232254.png]: https://img-blog.csdnimg.cn/20201128194232254.png
[20201128194240204.png]: https://img-blog.csdnimg.cn/20201128194240204.png
[20201128194248139.png]: https://img-blog.csdnimg.cn/20201128194248139.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201128194313241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70
[20201128194321456.png]: https://img-blog.csdnimg.cn/20201128194321456.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201128194329741.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70