KNN算法机器学习入门算法流程总结

男娘i 2023-02-23 05:22 92阅读 0赞

# 机器学习【KNN】（入门必备） #

*  KNN的全称是K Nearest Neighbors。顾名思义，k个最接近的邻居。可以用于分类，也可以用于回归。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTE5NDE3MQ_size_16_color_FFFFFF_t_70]如上图所示。中心点为测试数据，其他五边形和五角星为训练数据。k=3，测试数据属于五边形；k=5，测试数据属于五角星。

**距离公式**

*  欧式距离

d ( x , y ) = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + ⋅ ⋅ ⋅ + ( x n − y n ) 2 = ∑ i = 1 n ( x i − y i ) 2 d(x, y) = \\sqrt\[\]\{(x\_1 - y\_1)^2 + (x\_2 - y\_2)^2 + ··· + (x\_n - y\_n)^2\} = \\sqrt\[\]\{\\sum\_\{i=1\} ^ n \{(x\_i - y\_i)\} ^ 2\} d(x,y)=(x1−y1)2\+(x2−y2)2\+⋅⋅⋅\+(xn−yn)2=i=1∑n(xi−yi)2

*  曼哈顿距离  
     d ( x , y ) = ∣ x 1 − y 1 ∣ + ∣ x 2 − y 2 ∣ + ⋅ ⋅ ⋅ + ∣ x n − y n ∣ = ∑ i = 1 n ∣ x i − y i ∣ d(x, y) = |x\_1 - y\_1| + |x\_2 - y\_2| + ··· + |x\_n - y\_n| = \\sum\_\{i=1\} ^ n \{|x\_i - y\_i|\} d(x,y)=∣x1−y1∣\+∣x2−y2∣\+⋅⋅⋅\+∣xn−yn∣=i=1∑n∣xi−yi∣

**KNN分类**

*  新来一个点，统计这个点周围距离最近k个点的类别标签，就可以推断出这个点属于哪个类别。

**算法原理**

* 新来一条测试数据，计算该数据与n训练数据之间的距离。
    * 将得到的n个距离值排序。
    * 取距离最小的k条数据。
    * 计算k条数据所在类别的频数。
    * 最后返回k条数据出现频数最高的类别，即为测试数据的类别。

**KNN回归**

*  新来一个点，取这个点周围距离最近k个点的均值，然后去预测这个点的值。

**算法原理**

* 新来一条测试数据，计算该数据与n条训练数据之间的距离。
    * 将得到的n个距离值排序。
    * 取距离最小的k条数据的值，求均值。
    * 返回均值做为测试数据的预测值。

> > > #### 欢迎大家交流学习，任何问题都可以留言 ####

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTE5NDE3MQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200705182004988.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTE5NDE3MQ==,size_16,color_FFFFFF,t_70