【机器学习】K近邻算法 - 性能分析

今天药忘吃喽~ 2022-06-02 11:40 168阅读 0赞

Knn算法是一种简单的监督学习算法，虽然性能并不算非常出色，但是可解释性非常强。理论上可以证明，Knn可以以任意精度拟合真实分类高维曲面。

**一、Knn算法分析**

1、**该算法在处理样本分布不均匀的时候效果比较差**。比如正类的样本数量为1000，反类的样本数量为100，即正反两类的比例悬殊，当测试一个数据样本的时候，很有可能它虽然在距离上靠近反类，但是由于相邻的样本反类太少，正类太多，导致预测不准确。解决这个问题的方法就是根据K近邻得到的结果，每个类的数量分别再除以各自在训练集中的样本个数，这样将各类样本均衡化，效果更准确。

2、**该算法在处理稀疏数据时，效果很差**，尽管这是一种懒惰学习算法，但是仍然需要大量的，等密度分布的数据。

3、**在预测时，除了将类别均衡化之外，还需要密度均衡化**，也就是说，希望所有的样本点在属性空间上的分布非常均匀，这样预测的结果就准确。密度分布可以用K近邻的半径来衡量。即测试样本和第k个样本之间的距离的倒数定义为当前空间的样本密度，如果密度比较大，则预测结果准确，如果密度小，那么数据稀疏，预测的结果就不一定可靠。所以需要以概率来判定。

4、由于是懒惰学习，所以在做增量学习的时候，给每个新增样本都做概率预测，预测更加新的进来的样本的时候，也采用概率预测，会是更精确的做法。这种懒惰学习造成的结果就是**只能找到局部最小点，而很难找到全局最小点。**

5、**KNN的处理一定是有一个分类边界的**，这个边界可能不是特别具体，但是也不会大过KNN确定的判定超圆的直径。也就是说，随着数据越来越稠密，假设达到了绝对稠密，在一个样本的极其微小的邻域内找到了K个样本，并判定成功样本的分类，此时，邻域几乎不可见，在属性空间上进行宏观观察，每个分类都以一个超曲面将数据精准分割开来。数据之间没有丝毫杂糅，这就是KNN的不准确性。

**二、代码**

该算法并不算难，自己写一个也不成问题。但是由于懒，且已经完全明白了该算法的原理，所以就不想写了。直接调用sklearn包。

KNeighborsClassifier()进行参数解释。

（1）n\_neighbors : 整数，默认取5。K近邻的K值。

（2）weights : 字符串格式或者自定义，默认是'uniform'。也就是每个属性的权值分配。

\- 'uniform' : 均匀分布，即每个属性具有的权重一致。

\- 'distance' : 也就是说，距离样本越近的样本点对样本的分类影响越大。

\- \[callable\] : 用户自定义函数，该函数的输入是一列距离值，输出是每个距离对应的权重值。

（3）algorithm : 取值包括'auto', 'ball\_tree', 'kd\_tree', 'brute'。指选择哪种算法来计算。

\- 'ball\_tree' 使用类class:\`BallTree\`

\- 'kd\_tree' 使用类class:\`KDTree\`

\- 'brute' 使用brute-force search，在稀疏数据时使用该种方法

\- 'auto' 自适应选择一种最合适的。

（4）leaf\_size : 整数，默认30。在使用BallTree 或 KDTree方法时，传给算法的叶子节点的数量，默认30个。具体这是什么算法，我也不清楚，没有查找资料。

（5）p : 整数，默认值是2。指选择哪种距离度量，泛化来说，所有的向量距离都是Minkowski距离，p = 1时，称为manhattan距离，p = 2时，称为euclidean\_distance。也可以使用其他的距离。

（6）metric : 字符串类型，定义了使用什么距离，默认是'minkowski'。DistanceMetric 类中定义各种可以使用的距离。

（7）metric\_params : 如果选择了某个metric，用dict来给对应的距离种类添加参数。一般不用。

（8）n\_jobs : 整数，指的是计算机运行的作业数。一个cpu在一个时刻只能运行一个job作业。如果参数选择为-1，那么计算机中所有的CPU都参与了该算法的训练。如果取1，即只有1个CPU在运行，也就是单进程，并且Python解释器是单线程的，也就是说单线程运行。如果参数小于-1，那么（计算机中CPU的个数+1+n\_jobs）即是计算机中运行的作业数。比如我的计算机是4核的，参数取值为-2，此时有3个CPU参与了此次训练。

from sklearn.cluster import KMeans
    from sklearn import neighbors
    from sklearn import datasets
    import numpy as np
    import pylab as pl
    
    
    knn = neighbors.KNeighborsClassifier()
    iris = datasets.load_iris()
    
    knn.fit(iris.data, iris.target)
    predictedLabel = knn.predict([[0.1,0.2,0.3,0.4]])
    print predictedLabel
    
    pl.scatter(iris.data[:, 1],  # 样本集的 x 轴数据
               iris.data[:, 3],  # 样本集的 y 轴数据
               c=iris.target,  # 分类结果集
               s=80,
               cmap=pl.cm.Paired)  # cmap 确定颜色
    pl.axis('tight')
    pl.show() 
     
    
    
     
     除此之外，sklearn还提供了 
        RadiusNeighborsClassifier 
        KNeighborsRegressor 
        RadiusNeighborsRegressor 
        NearestNeighbors