机器学习之KNN（k近邻）算法详解

不念不忘少年蓝@ 2022-11-12 09:51 204阅读 0赞

文章目录  
1-1 机器学习算法分类  
一、基本分类：  
①监督学习（Supervised learning）  
②无监督学习  
③半监督学习  
④强化学习  
小结：  
2-1 KNN基本流程  
一、概念：  
2-2 K值的选择  
2-3 kd树  
一、原理：  
二、构造方法：  
1-1 机器学习算法分类  
一、基本分类：  
①监督学习（Supervised learning）  
数据集中的每个样本有相应的“正确答案”， 根据这些样本做出  
预测， 分有两类： 回归问题和分类问题。

步骤1： 数据集的创建和分类  
步骤2： 训练  
步骤3： 验证  
步骤4： 使用

（ 1） 回归问题举例  
例如： 预测房价， 根据样本集拟合出一条连续曲线。  
（ 2） 分类问题举例  
例如： 根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”， 是离散的。

监督学习：从给定的训练数据集中学习出一个函数（模型参数）， 当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。  
PCA和很多deep learning算法都属于无监督学习

②无监督学习  
无监督学习：输入数据没有被标记，也没有确定的结果。样本数据类别未知， 需要根据样本间的相似性对样本集进行分类（聚类， clustering）试图使类内差距最小化，类间差距最大化。  
实际应用中， 不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分器设计

有监督学习 无监督学习  
样本 必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。 没有训练集，只有一组数据，在该组数据集内寻找规律。  
目标 方法是识别事物，识别的结果表现在给待识别数据加上了标签。 因此训练样本集必须由带标签的样本组成。 方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性， 则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。

③半监督学习  
半监督学习： 即训练集同时包含有标记样本数据和未标记样本数据。

④强化学习  
实质是： make decisions问题，即自动进行决策，并且可以做连续决策。  
主要包含四个元素： agent， 环境状态， 行动， 奖励；  
强化学习的目标就是获得最多的累计奖励。

小结：  
监督学习：  
In：有标签  
Out：有反馈  
目的：预测结果  
案例：学认字  
算法：分类（类别），回归（数字）

无监督学习：  
In：无标签  
Out：无反馈  
目的：发现潜在结构  
案例：自动聚类  
算法：聚类，降维

半监督学习:  
已知：训练样本Data和待分类的类别  
未知：训练样本有无标签均可  
应用：训练数据量过时，  
监督学习效果不能满足需求，因此用来增强效果。

强化学习：  
In：决策流程及激励系统  
Out：一系列行动  
目的：长期利益最大化，回报函数（只会提示你是否在朝着目标方向前进的延迟反映）  
案例：学下棋  
算法：马尔科夫决策，动态规划

2-1 KNN基本流程  
一、概念：  
KNN（K Near Neighbor）：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。

最近邻 (k-Nearest Neighbors， KNN) 算法是一种分类算法， 1968年由 Cover和 Hart 提出， 应用场景有字符识别、 文本分类、 图像识别等领域。  
该算法的思想是： 一个样本与数据集中的k个样本最相似， 如果这k个样本中的大多数属于某一个类别， 则该样本也属于这个类别。

\#\#\#二、距离度量  
在选择两个实例相似性时，一般使用的欧式距离  
Lp距离定义：

[https://blog.csdn.net/sinat\_30353259/article/details/80901746][https_blog.csdn.net_sinat_30353259_article_details_80901746]

[https_blog.csdn.net_sinat_30353259_article_details_80901746]: https://blog.csdn.net/sinat_30353259/article/details/80901746