数据挖掘(5.1)--贝叶斯分类

柔情只为你懂 2024-03-16 09:16 47阅读 0赞

**目录**

前言

正文

1.主观概率

2.贝叶斯定理

1.基础知识

2.贝叶斯决策准则

3.极大后验假设

4.例题

2.朴素贝叶斯分类模型

朴素贝叶斯分类器的算法描述：

朴素贝叶斯算法特点

3.贝叶斯信念网

贝叶斯网络的建模包括两个步骤

贝叶斯信念网特点

--------------------

> ![5f47eb409cca4ac9b7f50d3013086fcf.png][] 开往夏天的列车

## 前言 ##

> 贝叶斯分类方法是统计学的分类方法,它利用概率统计知识预测给定元组属于特定类的概率。贝叶斯分类基于贝叶斯定理。最简单的贝叶斯分类算法称为朴素贝叶斯分类法。.

## 正文 ##

### 1.主观概率 ###

贝叶斯方法是一种研究不确定性的推理方法，不确定性常用贝叶斯概率表示，它是一种主观概率，是个人主观的估计，随个人的主观认识的变化而变化

对它的估计取决于先验知识的正确和后验知识的丰富和准确，因此贝叶斯概率常常可能随个人掌握信息的不同而发生变化，基于后验知识的一种判断，取决于对各种信息的掌握

### 2.贝叶斯定理 ###

#### 1.基础知识 ####

已知事件A发生的条件下，事件B发生的概率，叫做事件B在事件A发生下的条件概率，记为 *P*(*B*|*A*) ，其中 *P*(*A*) 叫做先验概率, *P*(*B*|*A*) 叫做后验概率，计算条件概率的公式为：

![925dd72c46e34f188d8e3817147faf43.png][]

后然=似然\*先验 /证据因子

条件概率公式通过变形得到乘法公式：

![b602e52422a149a38e3b76ffaf803854.png][]

设A,B为两个随机事件，如果有 *P*(*AB*) = *P*(*A*)*P*(*B*)成立，则称事件A和B相互独立。此时有 *P*(*A*|*B*) = *P*(*A*) 成立。

> 疾病诊断示例
> 
> 两个诊断(检查)结论：患者有癌症（+）；或者无癌症（-）
> 
> 先验知识：所有人口中，患病率0.8%
> 
> 有病患者确诊准确率98%，无病患者确诊准确率97%
> 
> P(cancer) = 0.008 P(!cancer) = 0.992
> 
> P(+|cancer) = 0.98 P(-|cancer) = 0.02
> 
> P(+|!cancer) = 0.03 P(-|!cancer) = 0.97

设 *B*1, *B*2,…, *B**n* 为互不相容事件，*P*(*B**i*)>0, *i*=1, 2,…, *n*，且 ![eq?%5Cbigcup\_%7Bi%3D1%7D%5E%7Bn%7DBi%3D%5COmega][eq_5Cbigcup_7Bi_3D1_7D_5E_7Bn_7DBi_3D_5COmega] ,对任意的事件![eq?A%5Csubset%20%5Cbigcup\_%7Bi%3D1%7D%5E%7Bn%7DBi][eq_A_5Csubset_20_5Cbigcup_7Bi_3D1_7D_5E_7Bn_7DBi],计算事件A概率的公式为：

![a783f6210419497f861b86e67ec1a867.png][]

设*P*(*A*) >0，则在事件A发生的条件下，事件*B**i*发生的概率为：

![223fe3d7216e4eacbf77950c6b67ced8.png][] ，称该公式为贝叶斯公式

#### 2.贝叶斯决策准则 ####

如果对于任意 *i* ≠ *j*，都有*P*(*C**i*|*X*) > *P*(*C**j*|*X*) 成立，则样本模式 *X* 被判定为类别 *C**i*

#### 3.极大后验假设 ####

根据贝叶斯公式可得到一种计算后验概率的方法：在一定假设的条件下，根据先验概率和统计样本数据得到的概率，可以得到后验概率。

令*P*(*c*)是假设*c*的先验概率，它表示*c*是正确假设的概率，*P*(*X*) 表示的是训练样本*X*的先验概率，*P*(*X*|*c*) 表示在假设*c*正确的条件下样本*X*发生或出现的概率，根据贝叶斯公式可以得到后验概率的计算公式：

![eb0259ac97a84d8ea671dd02ffb7473f.png][]

p设*C*为类别集合也就是待选假设集合，在给定未知类别标号样本*X*时，通过计算找到可能性最大的假设*c*∈*C*，具有最大可能性的假设或类别被称为极大后验假设(maximum a posteriori)，记作 ：

![186c6575516347c9a14d62b6ce968fd8.png][]

#### 4.例题 ####

![8a91f9e59d34405e8252034af6638232.png][]

假设当天的天气情况：*X* = \{ Sunny, Hot, High, Weak \}，判断今天是否可以打网球？

①统计个数

![0c818713dc224f59ae94d62060fcd417.png][]

②计算先验概率

![6359ac6a67674402b26c7eb6c1c9adae.png][]

③计算后验概率（由于我们是判断当日是否出去打球，所以下面计算时，只计算上面一部分）

![71dcfe74d0244f1fbd7998cf3fddd4ec.png][]

### 2.朴素贝叶斯分类模型 ###

> 朴素贝叶斯分类模型：算法逻辑简单、运算速度快、分类耗时短、精度高
> 
> 以属性的类条件独立性假设为前提，即在给定类别状态条件下，属性之间是相互独立的

#### 朴素贝叶斯分类器的算法描述： ####

> 1.  初始化：随机选择一个类别作为“先验概率”，通常设为0.5。这意味着在训练过程中，我们始终将样本分为两个类别：正例(或支持例，positive example)和负例(或拒绝例，negative example)。
> 2.  计算后验概率：对于每个样本，我们需要计算其属于各个类别的后验概率。对于给定的样本，我们可以使用贝叶斯公式来计算其属于各个类别的后验概率：P(C|X) = (P(X|C) \* P(C)) / P(X)；其中，P(C|X) 是样本 X 在类别 C 下的后验概率，P(X|C) 是类别 C 下样本为正例的似然度，P(C) 是类别 C 的先验概率，P(X) 是样本 X 的边际概率。
> 3.  选择最优类别：根据所有样本的后验概率，选择具有最高概率的类别作为最终预测结果。
> 
> 需要注意的是，朴素贝叶斯分类器假设特征之间相互独立。在实际应用中，这种假设可能并不总是成立，因此需要对模型进行调整以适应特定的数据分布。此外，朴素贝叶斯分类器在处理缺失值和噪声数据时可能表现不佳。

![66d98f970c1c4194b37d5a77396494a0.png][]

朴素贝叶斯分类器的结构示意图

#### 朴素贝叶斯算法特点 ####

> **优点**
> 
> 逻辑简单、易实现、分类过程中时间空间开销比较小；
> 
> 算法比较稳定、具有比较好的健壮性
> 
> **缺点**
> 
> 有属性间类条件独立的这个假定，而很多实际问题中这个独立性假设并不成立，导致分类效果下降。

### 3.贝叶斯信念网 ###

> 贝叶斯信念网络，简称贝叶斯网络，用图形表示一组随机变量之间的概率关系
> 
> 贝叶斯网络有两个主要成分：
> 
>  *  一个有向无环图，表示变量之间的依赖关系
>  *  一个条件概率表，把各结点和它的直接父结点关联起来
> 
> 在贝叶斯信念网中，每个结点还关联一个概率表。如果结点X没有父母结点，则表中只包含先验概率P(X)，如果结点X只有一个父母结点Y，则表中包含条件概率P(X|Y)，如果结点X有多个父母结点 \{ *Y*1, *Y*2,…, *Y**k*\} ，则表中包含条件概率 *P*(X|*Y*1, *Y*2,…, *Y**k*)

#### 贝叶斯网络的建模包括两个步骤 ####

>  *  创建网络结构
>  *  预估每一个结点在概率表中的概率值

#### 贝叶斯信念网特点 ####

>  *  BBN提供了一种用图形模型来捕获特定领域的先验知识的方法；
>  *  网络结构确定，添加新变量就十分容易；
>  *  贝叶斯网络很适合处理不完整的数据；
>  *  对模型的过分拟合问题是非常鲁棒的。

[5f47eb409cca4ac9b7f50d3013086fcf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/76873fa01d27429d8cf69f8a2f43924f.png
[925dd72c46e34f188d8e3817147faf43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7ef928424fe14183b14e04466faa9ccb.png
[b602e52422a149a38e3b76ffaf803854.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/afc3104443164785959ebbf15f6ce376.png
[eq_5Cbigcup_7Bi_3D1_7D_5E_7Bn_7DBi_3D_5COmega]: https://latex.csdn.net/eq?%5Cbigcup_%7Bi%3D1%7D%5E%7Bn%7DBi%3D%5COmega
[eq_A_5Csubset_20_5Cbigcup_7Bi_3D1_7D_5E_7Bn_7DBi]: https://latex.csdn.net/eq?A%5Csubset%20%5Cbigcup_%7Bi%3D1%7D%5E%7Bn%7DBi
[a783f6210419497f861b86e67ec1a867.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/195f66a696374465b5eb7a04ba24a128.png
[223fe3d7216e4eacbf77950c6b67ced8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cb80ae14e2ae42c1acc6bbc1f19a80f1.png
[eb0259ac97a84d8ea671dd02ffb7473f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/49d5e975c5c94bc2b13819a7106983b1.png
[186c6575516347c9a14d62b6ce968fd8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1e26efb84a09440aa9791863f8b1be40.png
[8a91f9e59d34405e8252034af6638232.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/62aeeb9958fe431e9bab284aad2201e9.png
[0c818713dc224f59ae94d62060fcd417.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f5c76b6d502543b1ae3e8d9904b3f6db.png
[6359ac6a67674402b26c7eb6c1c9adae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3f721f8033b64a6db7f276d15f389980.png
[71dcfe74d0244f1fbd7998cf3fddd4ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e54f112298bf4c659870ee9e5b722d9c.png
[66d98f970c1c4194b37d5a77396494a0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5354f026eddc4a9e803070ec5586444b.png