PGM：贝叶斯网表示之朴素贝叶斯模型naive Bayes

悠悠 2022-07-18 09:05 200阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/52469064][blog.csdn.net_pipisorry_article_details_52469064]

# 独立性质的利用    #

条件参数化和条件独立性假设被结合在一起，目的是对高维概率分布产生非常紧凑的表示。

## 随机变量的独立性 ##

\[[PGM：概率论基础知识 ][PGM_]：独立性性质的利用\]

## 条件参数化方法 ##

![Center][]

![Center 1][]

![Center 2][]

![Center 3][]

Note: P(I), P(S | i0), P(S | i1)都是二项式分布，都只需要一个参数。

[皮皮blog][blog]

# 朴素贝叶斯模型naive Bayes    #

### 朴素贝叶斯模型的学生示例 ###

\{这个示例很好的阐述了什么是朴素贝叶斯网络模型，后面将讲到其一般化模型和分类的应用实例\}

### 问题描述    ###

![Center 4][]

## 模型的因子表示    ##

符号表示：I表示智商；S（AT）代表SAT成绩；G（rade）代表某些课程成绩。

![Center 5][]

![Center 6][]

如果我们知道一个学生是高智商的，那么他在SAT考试中获得的高分并不能为我们带来任何有关他课程成绩的信息。

![Center 7][]

![Center 8][]

![Center 9][]

Note: 这种表示中在3个二项式表示和2个三项式表示。

![Center 10][]

![Center 11][]

## 因子表示的优点 ##

![Center 12][]

\[[概率图模型  原理与技术\[（美）科勒，（以）弗里德曼著\]][Link 1]

[皮皮blog][blog]

# 朴素贝叶斯一般模型 #

### 朴素贝叶斯模型的一般化定义    ###

![Center 13][]

给定类时特征条件独立

![Center 14][]

Note：对应上面的学生示例，就是说，当类变量C(示例中就是智商I)确定时，类的feature(示例中的Grade和SAT)之间就是独立的（其实就是贝叶斯网的tail-to-tail结构形式）。

![Center 11][]

![Center 15][]

朴素贝叶斯模型的贝叶斯网络：

![Center 16][]

### 朴素贝叶斯模型的因子分解及参数 ###

![Center 17][]

共2n+1个二项分布，需要2n+1个独立参数。

朴素贝叶斯参数个数与变量个数呈线性关系，而不像联合分布的显式表示中那样呈指数关系。

## 使用朴素贝叶斯模型进行分类 ##

![Center 18][]

也就是说朴素贝叶斯分类器主要是训练参数p(c)\{每个独立的p(ci)\}和p(x|c)\{每个独立的p(xi|ci)=num(xi=i, ci=i)/num(ci=i)\}（这些参数可以通过训练数据是直接通过频率计算出来的（MLE方法）），通过取最大的p(c|new\_x)来预测new\_x的类别。

![Center 19][]

![Center 20][]

![Center 21][]

构建这种模型的强假设降低了模型诊断的准确性，尤其是过度计算某些特定的证据，该模型倾向于过高估计其影响。例如高血压和肥胖症是心脏疾病的两个硬指标，不过这两个症状相互之间高度相关。引发疾病证据被重复计算。

![Center 22][]

## 朴素贝叶斯分类算法的优缺点 ##

优点：在数据较少的情况下依然有效，可以处理多类别问题

缺点：对输入数据的准备方式敏感

适用数据类型：标称型数据

朴素贝叶斯方法不需要进行结构学习，建立网络结构非常简单，实验结果和实践证明，它的分类效果比较好。

但在实际的应用领域中，朴素贝叶斯网络分类器具有较强的限定条件即各个属性相互独立的假设很难成立。我们应该广义地理解这种独立性，即属性变量之间的条件独立性是指：属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，这就是为什么朴素贝叶斯网络分类器应用的最优范围比想象的要大得多的一个主要原因。朴素贝叶斯分类器以简单的结构和良好的性能受到人们的关注，它是最优秀的分类器之一。在理论上它在满足其限定条件下是最优的，但它有较强的限定条件，可以尝试减弱它的限定条件以扩大最优范围，产生更好的分类器。朴素贝叫斯分类器可以进行扩展为广义朴素贝叶斯分类器。

[皮皮blog][blog]

## 朴素贝叶斯分类算法的实现    ##

### 朴素贝叶斯分类算法的python实现 ###

\#!/usr/bin/env python  
\# -\*- coding: utf-8 -\*-  
"""  
\_\_title\_\_ = '朴素贝叶斯算法(亦适用于多类分类)'  
\_\_author\_\_ = 'pika'  
\_\_mtime\_\_ = '16-5-23'  
\_\_email\_\_ = 'pipisorry@126.com'  
\# code is far away from bugs with the god animal protecting  
    I love animals. They taste delicious.  
"""  
import numpy as np  
  
TRAIN\_FILE = r'./trainingData.txt'  
TEST\_FILE = r'./testingData.txt'  
  
  
def train\_naive\_bayes(x, y):  
    '''  
    训练参数：p(c)\{包含每个独立的p(ci)\}和p(x|c)\{包含每个独立的p(xi|ci)\}  
    '''  
    p\_c = \{\}  \# p(c) = \{ci : p(ci)\}  
    p\_x\_cond\_c = \{\}  \# p(x|c) = \{ci : \[p(xi|ci)\]\}  
    for l in np.unique(y):  
        \# label l下， x=1 \[xi = 1\]时的概率array\[p(xi=1|c=l)\]; 则1-array\[p(xi=1|c=l)\]就是array\[p(xi=0|c=l)\]  
        p\_x\_cond\_c\[l\] = x\[y == l\].sum(0) / (y == l).sum()  
        p\_c\[l\] = (y == l).sum() / len(y)  \# p(c=l)的概率  
    print("θC: \{\}\\n".format(p\_c))  
    print("θA1=0|C: \{\}\\n".format(\{a\[0\]: 1 - a\[1\]\[0\] for a in p\_x\_cond\_c.items()\}))  
    print("θA1=1|C: \{\}\\n".format(\{a\[0\]: a\[1\]\[0\] for a in p\_x\_cond\_c.items()\}))  
    return p\_c, p\_x\_cond\_c  
  
  
def predict\_naive\_bayes(p\_c, p\_x\_cond\_c, new\_x):  
    '''  
    预测每个新来单个的x的label，返回一个label单值  
    '''  
    \# new\_x在类别l下的概率array  
    p\_l = \[(l, p\_c\[l\] \* (np.multiply.reduce(p\_x\_cond\_c\[l\] \* new\_x + (1 - p\_x\_cond\_c\[l\]) \* (1 - new\_x)))) for l in  
           p\_c.keys()\]  
    p\_l.sort(key=lambda x: x\[1\], reverse=True)  \# new\_x在类别l下的概率array按照概率大小排序  
    return p\_l\[0\]\[0\]  \# 返回概率最大对应的label  
  
  
if \_\_name\_\_ == '\_\_main\_\_':  
    tdata = np.loadtxt(TRAIN\_FILE, dtype=int)  
    x, y = tdata\[:, 1:\], tdata\[:, 0\]  
    p\_c, p\_x\_cond\_c = train\_naive\_bayes(x, y)  
  
    tdata = np.loadtxt(TEST\_FILE, dtype=int)  
    x, y = tdata\[:, 1:\], tdata\[:, 0\]  
    predict = \[predict\_naive\_bayes(p\_c, p\_x\_cond\_c, xi) for xi, yi in zip(x, y)\]  
    error = (y != predict).sum() / len(y)  
    print("test error: \{\}\\n".format(error))

\[[机器学习经典算法详解及Python实现---朴素贝叶斯分类及其在文本分类、垃圾邮件检测中的应用][Python_---]\]

from: [http://blog.csdn.net/pipisorry/article/details/52469064][blog.csdn.net_pipisorry_article_details_52469064]

ref: \[[概率图模型  原理与技术\[（美）科勒，（以）弗里德曼著\]][Link 1]\*

[blog.csdn.net_pipisorry_article_details_52469064]: http://blog.csdn.net/pipisorry/article/details/52469064
[PGM_]: http://blog.csdn.net/pipisorry/article/details/52459847
[Center]: /images/20220717/de98102a321e4814ae64f6c029f15662.png
[Center 1]: /images/20220717/d6f482149964481f9f069acdf0c93567.png
[Center 2]: /images/20220717/f25a7791a7ce4ab9b80aa178c7984121.png
[Center 3]: /images/20220717/e8c873fe17d54489a9b465b4619a4e6a.png
[blog]: http://blog.csdn.net/pipisorry
[Center 4]: /images/20220717/8b18108e82ad48148495dd7cd0a2892d.png
[Center 5]: /images/20220717/83d5df5215f54eafaaf0cc87e795c193.png
[Center 6]: /images/20220717/befe55599291415d8639101084880682.png
[Center 7]: /images/20220717/5e31adccfc5b46ec904c31aa76d23993.png
[Center 8]: /images/20220717/1b53c660e7174bd6825388062aac4457.png
[Center 9]: /images/20220717/775a9590ea3440a6b86da1c645f1a253.png
[Center 10]: /images/20220717/31bfc9e758174816ba6c85c9f219b20f.png
[Center 11]: /images/20220717/2da2f165d552490ba0e5913006e4c31e.png
[Center 12]: /images/20220717/663bf8fd922d40bb8cf0da0211f0c037.png
[Link 1]: http://download.csdn.net/detail/pipisorry/9527752
[Center 13]: /images/20220717/ffb2bbe0b1fb4ea49c15ea06c95c9871.png
[Center 14]: /images/20220717/2bcb8e80259d4452bfa53869ccc04185.png
[Center 15]: /images/20220717/b68ee4c1555e4e4ebced543bd2edb4e1.png
[Center 16]: /images/20220717/e3e692183e274da8917a42243d1c4a59.png
[Center 17]: /images/20220717/31ecf7228a164d499adb64e94b4b591c.png
[Center 18]: /images/20220717/d93f676477d04de498153bfed92aae9e.png
[Center 19]: /images/20220717/2c406a6735aa4ffbba38360053226698.png
[Center 20]: /images/20220717/6f46ce05ad364f7ea70dd94e86a3f553.png
[Center 21]: /images/20220717/eb4fcee1591549e4bebc5db3976130ad.png
[Center 22]: /images/20220717/849970232b344ab9812c0e1fb785296d.png
[Python_---]: http://blog.csdn.net/suipingsp/article/details/41897901