达观数据比赛第四天任务

桃扇骨 2022-02-21 03:43 164阅读 0赞

在学习完nlp预处理TF-IDF和Word2Vec之后，终于要进入模型的学习和使用啦。

【任务 3.1】LR+SVM 时常: 2天

使用下面模型对数据进行分类（包括：模型构建&调参&性能评估），并截图F1评分的结果。

1）逻辑回归(LR)模型，学习理论并用Task2的特征实践

2）支持向量机(SVM) 模型，学习理论并用Task2的特征实践

首先我们来了解一下逻辑回归(Logistic Regression)。**逻辑回归不是回归，是用来解决分类任务的**。二分类问题的概率与自变量之间的关系图形往往是一个S型曲线，如下图所示，采用的Sigmoid函数实现。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70][]

这里我们可以定义函数为:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 1][]

函数的定义域为全体实数，值域在\[0,1\]之间，x轴在0点对应的结果为0.5。当x取值足够大的时候，可以看成0或1两类问题，大于0.5可以认为是1类问题，反之是0类问题，而刚好是0.5，则可以划分至0类或1类。由此可见，我们可以使用逻辑回归来解决二分了问题。

但是我们的数据是多分类的，1-19 共19种label。为了适应我们的label，我们需要将逻辑回归扩展到多分类上。因此，**让其适应多分类问题，损失函数就不能再笼统地只考虑二分类非1就0的损失，而是具体考虑每个样本标记的损失**。这种方法叫做softmax回归，即使用softmax来实现logistic回归的多分类版本。更深入的理解，详见参考文献。

接下来我们简单地了解SVM支持向量机。SVM是一个大的概念，可以用于分类和回归任务。**SVC是SVM的一种类型，用于分类任务；而SVR是另外一种类型，用于回归任务**。详细的公式见下图，需要一定的数学基础:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 2][]

逻辑回归和SVM都是在数据挖掘及机器学习中非常常用的模型方法，在Python中都已经得到很好地封装，只需要简单地调用就好，方法中有不少的参数，还需要进一步的学习。详见参考文献。

接下来介绍一下，模型的评估方法F1-Score。F1方法是结合了Precision和Recall评估的一种较好的模型评估方法。可以更加客观地反映出模型的性能。F1公式如下所示：

![20190410135007727.png][]

当β=1时，称为F1-score，这时，精确率和召回率都很重要，权重相同。当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，如果我们认为召回率更重要些，那就调整β的值大于1。

举个例子：癌症检查数据样本有10000个，其中10个数据祥本是有癌症，其它是无癌症。假设分类模型在无癌症数据9990中预测正确了9980个，在10个癌症数据中预测正确了9个，此时真阳=9，真阴=9980，假阳=10，假阴=1。其实，在这个场景里，**我们会比较关心地是癌症患者到底有没有预测准确，因为将一个癌症患者预测为无癌症，本身是一件非常危险的事情，会耽误患者宝贵的治疗时间**。根据公式，我们可以得出：   
Accuracy = (9+9980) /10000=99.89%   
Precision=9/19+10)= 47.36%   
F1-score=2×(47.36% × 90%)/(1×47.36%+90%)=62.07%   
  
最后，我们贴出代码，供大家参考学习，有问题欢迎留言，会及时回复。

import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.feature_extraction.text import TfidfVectorizer
    import gensim
    import time
    import pickle
    import numpy as np
    import csv,sys
    from sklearn import svm
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
    from sklearn.linear_model import LogisticRegression
    
    # read data
    df = pd.read_csv('data/train_set.csv', nrows=5000)
    df.drop(columns='article', inplace=True)
    # # observe data
    # print(df['class'].value_counts(normalize=True, ascending=False))
    
    # TF-IDF
    vectorizer = TfidfVectorizer(ngram_range=(1, 2), min_df=3, max_df=0.9, sublinear_tf=True)
    vectorizer.fit(df['word_seg'])
    x_train = vectorizer.transform(df['word_seg'])
    
    # split training set and validation set
    predictor = ['word_seg']
    x_train, x_validation, y_train, y_validation = train_test_split(x_train, df['class'], test_size=0.2)
    
    clf = svm.LinearSVC(C=5, dual=False)
    clf = LogisticRegression(C=120, dual=True)
    
    clf.fit(x_train, y_train)
    y_prediction = clf.predict(x_validation)
    label = []
    for i in range(1, 20):
        label.append(i)
    f1 = f1_score(y_validation, y_prediction, labels=label, average='micro')
    print('The F1 Score: ' + str("%.2f" % f1))

LR模型结果:

![20190410140319962.png][]

SVM模型结果：

![20190410140335492.jpg][]

参考文献：

1. CSDN [To\_be\_brave1][To_be_brave1] [https://blog.csdn.net/u012879957/article/details/81197903][https_blog.csdn.net_u012879957_article_details_81197903]

2. 博客园 Google-Boy [https://www.cnblogs.com/ylHe/p/7676173.html][https_www.cnblogs.com_ylHe_p_7676173.html]

3. sklearn.svm 官方文档 [https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html][https_scikit-learn.org_stable_modules_generated_sklearn.svm.SVC.html]

4. sklearn.linear\_model 官方文档 [https://scikit-learn.org/stable/modules/generated/sklearn.linear\_model.LogisticRegression.html][https_scikit-learn.org_stable_modules_generated_sklearn.linear_model.LogisticRegression.html]

5. CSDN [saltriver][] [https://blog.csdn.net/saltriver/article/details/74012163][https_blog.csdn.net_saltriver_article_details_74012163]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70]: /images/20220221/4a7cb45804de4fc5998fe810d62bdc75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 1]: /images/20220221/dfc2df7e5815412eb56a72ff1f176797.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzIzMTMzNzgz_size_16_color_FFFFFF_t_70 2]: /images/20220221/dba43d092e3b4e278fdbd35f4b078098.png
[20190410135007727.png]: /images/20220221/b39c0453f2b04397ab1991f68e8cfb97.png
[20190410140319962.png]: /images/20220221/6ac5385632a24778a972cd208d26948c.png
[20190410140335492.jpg]: /images/20220221/20f1fc4e5afb452a8affbba893de1c52.png
[To_be_brave1]: https://blog.csdn.net/u012879957
[https_blog.csdn.net_u012879957_article_details_81197903]: https://blog.csdn.net/u012879957/article/details/81197903
[https_www.cnblogs.com_ylHe_p_7676173.html]: https://www.cnblogs.com/ylHe/p/7676173.html
[https_scikit-learn.org_stable_modules_generated_sklearn.svm.SVC.html]: https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html
[https_scikit-learn.org_stable_modules_generated_sklearn.linear_model.LogisticRegression.html]: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html
[saltriver]: https://blog.csdn.net/saltriver
[https_blog.csdn.net_saltriver_article_details_74012163]: https://blog.csdn.net/saltriver/article/details/74012163