KNN算法

Bertha 。 2022-04-23 01:00 223阅读 0赞

KNN算法即K-近邻算法，KNN的核心思想是通过你的“邻居”来推断出你的类别。  
1 K-近邻算法(KNN)原理  
    k 值取得过小，容易受到异常点的影响  
    k 值取得过大，样本不均衡的影响  
    确定邻居的方法（计算距离）  
    1）欧氏距离  
    2）曼哈顿距离（绝对值距离）  
    3）明可夫斯基距离（欧氏距离和曼哈顿距离的推广）  
2 案例1：鸢尾花种类预测  
    1）获取数据  
    2）数据集划分  
    3）特征工程  
        标准化  
    4）KNN预估器流程  
    5）模型评估  
3 K-近邻总结  
    优点：简单，易于理解，易于实现，无需训练  
    缺点：  
        1）必须指定K值，K值选择不当则分类精度不能保证  
        2）懒惰算法，对测试样本分类时的计算量大，内存开销大  
    使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

4 模型选择与调优

1）交叉验证：将训练数据分成数据集集和验证集。（举例：将一组训练数据分成4份，3份验证集和1份数据集，4次训练，每次训练更换验证集，取平均值作为最终结果）

2）网格搜索（枚举超参数k的大小，寻找一个最优的k值）

### 代码一（鸢尾花案例）： ###

from sklearn.datasets import load_iris
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.neighbors import KNeighborsClassifier
    
    def knn_iris():
        """
        用KNN算法对鸢尾花进行分类
        :return:
        """
        # 1）获取数据
        iris = load_iris()
    
        # 2）划分数据集
        x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
    
        # 3）特征工程：标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.transform(x_test)
    
        # 4）KNN算法预估器
        estimator = KNeighborsClassifier(n_neighbors=3)
        estimator.fit(x_train, y_train)
    
        # 5）模型评估
        # 方法1：直接比对真实值和预测值
        y_predict = estimator.predict(x_test)
        print("y_predict:\n", y_predict)
        print("直接比对真实值和预测值:\n", y_test == y_predict)
    
        # 方法2：计算准确率
        score = estimator.score(x_test, y_test)
        print("准确率为：\n", score)
    
        return None
    
    if __name__ == "__main__":
        knn_iris()

### 代码二（鸢尾花案例+模型选择与调优）： ###

from sklearn.datasets import load_iris
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.neighbors import KNeighborsClassifier
    from sklearn.model_selection import GridSearchCV
    
    def knn_iris_gscv():
        """
        用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证
        :return:
        """
        # 1）获取数据
        iris = load_iris()
    
        # 2）划分数据集
        x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
    
        # 3）特征工程：标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.transform(x_test)
    
        # 4）KNN算法预估器
        estimator = KNeighborsClassifier()
    
        # 加入网格搜索与交叉验证
        # 参数准备
        param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]}
        # 预估器，网格搜索（指定K的取值集合），交叉验证的次数
        estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)
        # 加入数据训练
        estimator.fit(x_train, y_train)
    
        # 5）模型评估
        # 方法1：直接比对真实值和预测值
        y_predict = estimator.predict(x_test)
        print("y_predict:\n", y_predict)
        print("直接比对真实值和预测值:\n", y_test == y_predict)
    
        # 方法2：计算准确率
        score = estimator.score(x_test, y_test)
        print("准确率为：\n", score)
    
        # 最佳参数：best_params_
        print("最佳参数：\n", estimator.best_params_)
        # 最佳结果：best_score_
        print("最佳结果：\n", estimator.best_score_)
        # 最佳估计器：best_estimator_
        print("最佳估计器:\n", estimator.best_estimator_)
        # 交叉验证结果：cv_results_
        print("交叉验证结果:\n", estimator.cv_results_)
    
        return None
    
    if __name__ == "__main__":
        knn_iris_gscv()