Python scikit-learn，分类，朴素贝叶斯算法，文档分类，MultinomialNB，拉普拉斯平滑系数

待我称王封你为后i 2022-03-16 06:18 203阅读 0赞

朴素贝叶斯预测分类的思想就是根据待预测文档的特征(TF-IDF高的词)分别计算属于各个类别的概率，其中概率最大的类别，就是预测的类别。（朴素的意思就是文档的特征(词)之间相互独立）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2][]

--------------------

### **朴素贝叶斯进行文档分类的简单案例：** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 4][]

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 5][]

--------------------

**demo.py（朴素贝叶斯算法实例，预测新闻类别）：**

from sklearn.datasets import fetch_20newsgroups
    from sklearn.model_selection import train_test_split
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.naive_bayes import MultinomialNB
    
    
    # 加载数据集 从scikit-learn官网下载新闻数据集(共20个类别)
    news = fetch_20newsgroups(subset='all')  # all表示下载训练集和测试集
    
    # 进行数据分割 (划分训练集和测试集)
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
    
    # 对数据集进行特征抽取 (进行特征提取，将新闻文档转化成特征词重要性的数字矩阵)
    tf = TfidfVectorizer()  # tf-idf表示特征词的重要性
    # 以训练集数据统计特征词的重要性 (从训练集数据中提取特征词)
    x_train = tf.fit_transform(x_train)
    
    print(tf.get_feature_names())  # ["condensed", "condescend", ...]
    
    x_test = tf.transform(x_test)  # 不需要重新fit()数据，直接按照训练集提取的特征词进行重要性统计。
    
    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)  # alpha表示拉普拉斯平滑系数，默认1
    print(x_train.toarray())  # toarray() 将稀疏矩阵以稠密矩阵的形式显示。
    '''
    [[ 0.     0.          0.   ...,  0.04234873  0.   0. ]
     [ 0.     0.          0.   ...,  0.          0.   0. ]
     ...,
     [ 0.     0.03934786  0.   ...,  0.          0.   0. ]
    '''
    mlt.fit(x_train, y_train)  # 填充训练集数据
    
    # 预测类别
    y_predict = mlt.predict(x_test)
    print("预测的文章类别为：", y_predict)  # [4 18 8 ..., 15 15 4]
    
    # 准确率
    print("准确率为：", mlt.score(x_test, y_test))  # 0.853565365025

朴素贝叶斯算法不需要调参，(K近邻和决策树需要调参)，朴素贝叶斯受训练集的误差(特征词的提取，例如某篇文章有大量相同的词)影响较大。

**朴素贝叶斯算法优点：**  
1、朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。  
2、对缺失数据不太敏感(缺词少句)，算法也比较简单，常用于文本分类。  
3、分类准确度高，速度快

**朴素贝叶斯算法缺点：**  
1、需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。(要求特征词之间相互独立)  
2、受训练集的误差(特征词的提取，例如某篇文章有大量相同的词)影响较大。  
3、不能进行调参调优

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220316/f5aa865952134d17a4a9410e8ce9bcb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220316/d3d3dcf09a804a008e2970212e15190d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2]: /images/20220316/e67dd21742074249983446bebc232023.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3]: /images/20220316/ccba0b2be5ec4fe9a21106da73c90a62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 4]: /images/20220316/82f5a23ce05542d1be920ffcda166168.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 5]: /images/20220316/d5f2f18412744901ae25adef18831cf9.png