【ML 吴恩达】7 分类之K-邻近算法及评估指标

左手的ㄟ右手 2022-12-24 14:50 137阅读 0赞

### 目录 ###

*  1 分类
 *  2 K-邻近
 *   *  2.1 简介
     *  2.2 算法过程
     *  2.3 选择一个正确的K值
 *  3 分类评估指标

# 1 分类 #

（1）概念  
• 一种监督学习方法  
• 分类一些未知的事物  
• 目标属性是一个分类变量  
（2）工作机制  
举例：分类向银行提出贷款的顾客是否可以贷款。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]

（3）应用  
• 邮箱过滤  
• 语音识别  
• 手写识别  
• 生物识别  
• 文件识别  
（4）分类算法  
• 决策树（Decision Trees）  
• 朴素贝叶斯（Naive bayes）  
• 线性判别分析（linear discriminant nanlysis）  
• K-邻近（K-nearst Neighbor）  
• 逻辑回归（Logistic regression）  
• 神经网络（Neural Networ）  
• 支持向量机（Support Vector Machine，SVM）

# 2 K-邻近 #

## 2.1 简介 ##

是一种是分类算法，采用一些已经标签的点去标记未标签的点。这个算法的原理是基于相似度.  
• A method for classifying cases based on their similarity to other cases  
• Cases that are near each other are said to be “beighbors”  
• Based on simiar cases with same class labels are near each other  
如下图根据个别自变量age和Income去判别类别。方法是去找最邻近的那个点。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]

## 2.2 算法过程 ##

（1）为K找到一个值  
（2）计算未知点与所有已知点的距离（相似度）  
（3）在训练数据中找到与未知点最邻近的K的观察值(Select the K-observations in the training data that are nearest to unknown data point)  
（4）Predict the response of the unknown data point using the most popular response value from the K-nearest neighbors  
问题是：如何选择一个正确的K，如何计算距离

## 2.3 选择一个正确的K值 ##

过低的K值可能会导致模型的高复杂度，也会导致模型过拟合。方法是在不同K值下计算模型的准确率，选择最佳准确率的K值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]

# 3 分类评估指标 #

（1）分类准确率Classification accuracy  
（2）Jaccard Index  
说白了就是如下两个圆圈重叠是大小。越大越好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]

（3）F1-score  
F1分数度量，在《机器学习-周志华》书的32-32页详解。Confusion matrix 是混淆矩阵。  
Precision又称为查准率  
Recall又称为查全率  
F1-score越高准确率越高  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]

（4）Log Loss  
在输出概率是0~1之间去评价分类器的好坏。  
如下举例计算Log loss.Log loss越小越好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]: /images/20221120/6faabe71d35545c5b389d95cd23d9402.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]: /images/20221120/f5985f5eeaf44473b506c65428dcb0df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]: /images/20221120/1058eb9ae0aa48caa9286479f2ac8a12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]: /images/20221120/ca2d8771576440c8b394ed6ce61fad27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201128212406913.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201128212416406.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng==,size_16,color_FFFFFF,t_70