基于Python实现并对比线性分类器与非线性分类器

深碍√TFBOYSˉ_ 2024-04-05 04:29 73阅读 0赞

目录  
机器学习与数据挖掘第一次实验报告 1  
实现并对比线性分类器与非线性分类器 1  
目 1  
录 2  
一、分类器简述 2  
一 、分类器简述 2  
1.1 线性分类器 2  
1.3 随机梯度下降 3  
1.4 梯度推导 4  
1.5 基于基函数的非线性分类器 5  
1.6 过拟合与正则化 5  
二 、分类器实现 5  
2.1 线性分类器 5  
2.2 非线性分类器 6  
三 、数据集描述 7  
3.1 Dry Bean 数据集 7  
3.2 葡萄酒数据集 7  
3.3 肥胖症数据集 7  
3.4 数据降维可视化 8  
四 、实验结果分析 8  
4.1 交叉验证学习率 8  
线性分类器： 8  
4.1 交叉验证正则化系数 11  
线性分类器： 11  
4.3 分类器交叉验证 13  
4.4 权重可视化与损失函数变化 14  
0.4左右。 15  
4.5 正确率测试 18  
4.6 精准度和召回率测试 20  
五 、结论 23  
实验结果：  
由于 RedWine 数据集的数据集中在 类别 5 6 7，而在类别 1 2 3 8 9 完全没有样本，类别 3 4 的样本非常少，导致精确率和召回率不稳定。  
对于线性分类器，类别 3 4 的精确率和召回率都为 0 即该分类器完全无法划分出这些类别的数据， 而使用非线性分类器，对识别这些样本稀缺的类别有好处。例如五阶非线性分类器，在训练集中， 对类别 3 4 就有较高的精确率，即预测为 3 4类别的样本基本是正确的，但召回率还是很低，即还  
有大量的类别 3 4 的样本被分到了其他的类别。  
类别 3 4 测试集的准确率和召回率为 0，很大程度是因为样本过少。  
五 、结论  
实验实现了Softmax线性分类器和基于基函数的非线性分类器，对于非线性分类器，我们选择了三阶非 线性和五阶非线性来进行实验，并对三个数据集 DryBean、RedWine、Obesity进行了各个方面的测试，得到以下结论：  
1.通过 t-sne 初步处理数据，我们发现在所有数据集中， DryBean 的同类别聚集和不同类别分散的程度最高，RedWine 最低。  
2.通过对学习率进行交叉验证，我们发现对于上述数据集，线性分类器学习率在1.5 ~ 2 时，验证机预测正确率最高，效果最好。  
3.通过对正则化方法和正则化系数进行交叉验证，我们发现不论是L1正则化还是L2正则化，只有在正 则化系数比较小（1e-4 ~ 1e-5）时，正则化才能可能改善验证集预测正确率，并且改善的幅度比较小。除此之外，本文转载自http://www.biyezuopin.vip/onews.asp?id=16712我们发现L2正则化对正则化系数更加敏感，当学习率为1e-3时，验证集正确率就有 明显的下降。  
4.对比线性分类器、不含正则化的三阶非线性分类器、不含正则化的五阶非线性分类器、含L1正则化 的三阶非线性分类器、含L2 正则化的三阶非线性分类器、含L1正则化的五阶非线性分类器、含L2 正则化的五阶非线性分类器：

1.对不同的数据集而言，最佳的模型不同：对于 DryBean 数据集，五阶非线性分类器表现最好；对于 Obesity 数据集，三阶非线性分类器表现最好；对于 RedWine 数据集，线性分类器表现最好；  
2.使用L1的正则化效果略优于L2正则化，在正则化系数合适的情况下，使用正则化效果能够提 高分类器的分类效果。  
3.通过观察损失函数变化和预测正确率变化，我们发现高阶非线性模型收敛快，但波动大。  
5.经过测试，DryBean 数据集的训练准确率和测试准确率都在 90% 以上，使用三阶非线性模型分类器， DryBean 的分类正确率能到达92%，Obesity 数据集的训练准确率和测试准确率都在 80% 左右，RedWine 数据集的训练准确率和测试准确率都在 60% 左右。  
6.通过精确率和召回率测试，我们发现分类的效果和大程度上受数据集本身的影响，样本分类不均匀 的数据集，如RedWine，分类效果就偏差。

from test_utils import *
    from Classifiers.softmax_classifier import SoftmaxLinearClassifier
    from Classifiers.softmax_classifier import SoftmaxNonlinearClassifier
    from Classifiers.kernel import *
    
    
    if __name__ == "__main__":
    
        # 载入数据集
        # X, y, attrs, classes = load_red_wine_quality()
        # X, y, attrs, classes = load_white_wine_quality()
        # X, y, attrs, classes = load_obesity()
        X, y, attrs, classes = load_drybean()
    
        # 数据降维可视化
        # t_sne(X, y, classes)
    
        # 交叉验证
        # learning_rate_cross_validition(X, y, ite_num=2000, batch_size=500)
        # normalization_cross_validition(X, y, ite_num=2000, batch_size=500)
        # learning_rate_cross_validition(X, y, ite_num=2000, batch_size=500, nonlinear_kernel=x_3_kernel)
        # normalization_cross_validition(X, y, ite_num=2000, batch_size=500, nonlinear_kernel=x_3_kernel)
        # learning_rate_cross_validition(X, y, ite_num=2000, batch_size=500, nonlinear_kernel=x_5_kernel)
        # normalization_cross_validition(X, y, ite_num=2000, batch_size=500, nonlinear_kernel=x_5_kernel)
    
        softmax_validition(X, y, ite_num=2000, batch_size=500, reg_style="L0")
        softmax_validition(X, y, ite_num=2000, batch_size=500, reg_style="L1")
        softmax_validition(X, y, ite_num=2000, batch_size=500, reg_style="L2")
    
        # 计算生成权重矩阵
        # softmax = SoftmaxNonlinearClassifier(x_5_kernel)
        # gen_w_loss(X, y, attrs, classes, softmax)
    
        kernel = [None, x_3_kernel, x_5_kernel]
        reg_style = ["L0", "L1", "L2"]
    
        # 测试准确率
        # for k in kernel:
        #     for r in reg_style:
        #         softmax = SoftmaxNonlinearClassifier(kernel_function=k)
        #         test_acc(X, y, softmax,ite_num=500, reg_style=r, reg_strength=1e-4)
    
        # 测试 Precision、Recall
        # for k in kernel:
        #     softmax = SoftmaxNonlinearClassifier(kernel_function=k)
        #     test_pre_rec(X, y, attrs, classes, softmax)

![在这里插入图片描述][e47b185bf7684eb0bcce7987d55bf58f.png_pic_center]  
![在这里插入图片描述][e3896c050f4f40b0aa75198327cf1453.png_pic_center]  
![在这里插入图片描述][98944fe375154d848a2c4bdadf0bf5bb.png_pic_center]  
![在这里插入图片描述][5b12f890101c4c2c848062b071694e5f.png_pic_center]  
![在这里插入图片描述][2c8c209aaeea4186b26e39484f201d65.png_pic_center]  
![在这里插入图片描述][cc10774856f544f69d77b4e9e85456d2.png_pic_center]  
![在这里插入图片描述][8cef4f5697724dbb94500b62119f40e8.png_pic_center]  
![在这里插入图片描述][549508e1bed744e9bb3c96293cb6df8c.png_pic_center]  
![在这里插入图片描述][65e102150d8c4a1db680a8ed9beb4857.png_pic_center]  
![在这里插入图片描述][f307f85f34cf42b3be97ef1b3f1a0619.png_pic_center]  
![在这里插入图片描述][eba439f35c364f098b4b2540da3a54c2.png_pic_center]  
![在这里插入图片描述][3c52fe8af8f649afa84b254eab486eca.png_pic_center]  
![在这里插入图片描述][9f0b6733a57a4c3c81f44f95ec3f73f5.png_pic_center]  
![在这里插入图片描述][4dd695c831234e7aac9569f1f6b88e10.png_pic_center]

[e47b185bf7684eb0bcce7987d55bf58f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/42fa3073af074a00adabbf01676fa5f8.png
[e3896c050f4f40b0aa75198327cf1453.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/1e027b89618e4d9593c98662b3db93a4.png
[98944fe375154d848a2c4bdadf0bf5bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/4ebfbf9838da46afbf1ec775869247de.png
[5b12f890101c4c2c848062b071694e5f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/2e3ce95a396d4eb0a35e3687bb802a9b.png
[2c8c209aaeea4186b26e39484f201d65.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/3111d1fb39ca43ecbe089c93b8589024.png
[cc10774856f544f69d77b4e9e85456d2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/312d5fe0b6a04f0f96f1bbe48c62ab49.png
[8cef4f5697724dbb94500b62119f40e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/9a7a9c67e0944a9e8aa3410ee7056cec.png
[549508e1bed744e9bb3c96293cb6df8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/23e3cbc5a1ee4c948d7f025f6fa915cf.png
[65e102150d8c4a1db680a8ed9beb4857.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/ba89f7fe397f46c3acf829db008d3e87.png
[f307f85f34cf42b3be97ef1b3f1a0619.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/19c7004fe5564be18bba322b3c750a18.png
[eba439f35c364f098b4b2540da3a54c2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/faf9830304354b9f9d28019e4bac255a.png
[3c52fe8af8f649afa84b254eab486eca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/8f2539e2eeff4786b46b0d3f17387376.png
[9f0b6733a57a4c3c81f44f95ec3f73f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/c1f3b1d6750a40c7b8a8af2db48259a9.png
[4dd695c831234e7aac9569f1f6b88e10.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/b738e1abe3c54b0e9cdaaff960f99358.png