朴素贝叶斯算法

古城微笑少年丶 2022-04-23 01:14 257阅读 0赞

1 概率基础  
    联合概率、条件概率与相互独立定义  
    联合概率：包含多个条件，且所有条件同时成立的概率  
    P(程序员, 匀称) P(程序员, 超重|喜欢)  
    P(A, B)  
    条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率  
    P(程序员|喜欢) P(程序员, 超重|喜欢)  
    P(A|B)  
    相互独立:P(A, B) = P(A)P(B) <=> 事件A与事件B相互独立  
    朴素：假设特征与特征之间是相互独立

贝叶斯公式：

![è´å¶æ¯å®ç][f13abde4811844c29b556a35ca4f55a5.png]  
    朴素贝叶斯算法：朴素 + 贝叶斯  
    应用场景：  
        文本分类  
        单词作为特征  
2 流程（案例：20类新闻分类）  
    1）获取数据  
    2）划分数据集  
    3）特征工程  
        文本特征抽取  
    4）朴素贝叶斯预估器流程  
    5）模型评估  
3 朴素贝叶斯算法总结  
    优点：  
        对缺失数据不太敏感，算法也比较简单，常用于文本分类。  
        分类准确度高，速度快  
    缺点：  
        由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好

### 代码（案例：对新闻分类）： ###

from sklearn.model_selection import train_test_split
    from sklearn.datasets import fetch_20newsgroups
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.naive_bayes import MultinomialNB
    
    def nb_news():
        """
        用朴素贝叶斯算法对新闻进行分类
        :return:
        """
        # 1）获取数据
        news = fetch_20newsgroups(subset="all")
    
        # 2）划分数据集
        x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)
    
        # 3）特征工程：文本特征抽取-tfidf
        transfer = TfidfVectorizer()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.transform(x_test)
    
        # 4）朴素贝叶斯算法预估器流程
        estimator = MultinomialNB()
        estimator.fit(x_train, y_train)
    
        # 5）模型评估
        # 方法1：直接比对真实值和预测值
        y_predict = estimator.predict(x_test)
        print("y_predict:\n", y_predict)
        print("直接比对真实值和预测值:\n", y_test == y_predict)
    
        # 方法2：计算准确率
        score = estimator.score(x_test, y_test)
        print("准确率为：\n", score)
    
        return None
    
    if __name__ == "__main__":
        nb_news()

[f13abde4811844c29b556a35ca4f55a5.png]: /images/20220323/9ed13f2573b74757b409f904a152cb2d.png