从条件概率到贝叶斯公式

r囧r小猫 2021-12-09 15:03 406阅读 0赞

在实际生活中，有时需要考虑在已知一个事件发生的条件下，另外一个事件发生的概率，这个概率即条件概率。本文将从条件概率出发，引出概率论与数理统计中非常重要的两个公式：全概率公式和贝叶斯公式。

### 首先，我们来看下什么是条件概率？ ###

定义：设A、B是两个事件，且P(B)>0，![则称比值][gif.latex_25u5219_25u79F0_25u6BD4_25u503C]则称比值![gif.latex][]![gif.latex][]![\\small \\frac\{P(AB)\}\{P(B)\}][small _frac_P_AB_P_B]为在事件B已经发生的条件下，事件A发生的条件概率，记作P(A|B)，即

![P(A|B)=\\frac\{P(AB)\}\{P(B)\}][P_A_B_frac_P_AB_P_B]。

**如何理解这个条件概率的公式呢？**

我们以古典概型(等可能概型)来理解上式。假设试验的基本事件总数为n，B所包含的基本事件数为m(M>0)，AB所包含的基本事件数为k。因为事件B已经发生了，故而在考虑事件A发生的概率时，所有可能的结果一般不再是整个样本空间S，而是B中的结果，也就是说导致A发生的结果一定来源于B，根据古典概型中事件概率的计算可得：

![P(A|B)=\\frac\{k\}\{m\}=\\frac\{k/n\}\{m/n\}=\\frac\{P(AB)\}\{P(B)\}][P_A_B_frac_k_m_frac_k_n_m_n_frac_P_AB_P_B]

从集合的角度，画个图可能更方便理解：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70][]

**举个条件概率的栗子：**

一个袋子中有3个黑球和7个白球，依次从袋子中不放回的取球两次，每次取一个球，现求：

（1） 已知第一次取出的是黑球，则第二次取出的也是黑球的概率；

（2）已知第二次取出的是黑球，则第一次取出的也是黑球的概率。

设事件![\\large \_\{A\_\{i\}\}][large _A_i]表示第i次取到黑球，i=1，2，则：

![\\large P(A\_\{1\})=\\frac\{3\}\{10\}][large P_A_1_frac_3_10]

![\\large P(A\_\{2\})=\\frac\{7\}\{10\}\* \\frac\{3\}\{9\}+\\frac\{3\}\{10\}\*\\frac\{2\}\{9\}=\\frac\{3\}\{10\}][large P_A_2_frac_7_10_ _frac_3_9_frac_3_10_frac_2_9_frac_3_10]

![\\large P(A\_\{1\}A\_\{2\})=\\frac\{3\*2\}\{10\*9\}=\\frac\{1\}\{15\}][large P_A_1_A_2_frac_3_2_10_9_frac_1_15]

故：

![\\large P(A\_\{2\}|A\_\{1\})=\\frac\{P(A\_\{1\}A\_\{2\})\}\{P(A\_\{1\})\}=\\frac\{1\}\{15\}\\div \\frac\{3\}\{10\}=\\frac\{2\}\{9\}][large P_A_2_A_1_frac_P_A_1_A_2_P_A_1_frac_1_15_div _frac_3_10_frac_2_9]

![\\large P(A\_\{1\}|A\_\{2\})=\\frac\{P(A\_\{1\}A\_\{2\})\}\{P(A\_2)\}=\\frac\{1\}\{15\}\\div \\frac\{3\}\{10\}=\\frac\{2\}\{9\}][large P_A_1_A_2_frac_P_A_1_A_2_P_A_2_frac_1_15_div _frac_3_10_frac_2_9]

上面的例子中，![\\large P(A\_\{1\})=P(A\_\{2\})][large P_A_1_P_A_2]似乎表明对于不放回抽样，抽到黑球的概率与抽球的次序无关，每次抽到黑球的概率相等。实际上，这种感觉是对的。生活中也有这样的例子，比如买彩票，在开奖前10天，你每天都去彩票站买一张号码不同的彩票，这10张彩票中奖的概率理论上是相同的。感兴趣的同学可以思考下这其中的原因。

### 接下来要说的是乘法公式和乘法定理，前文中我们已经得到了条件概率的公式： ###

P(B)>0时，![P(A|B)=\\frac\{P(AB)\}\{P(B)\}][P_A_B_frac_P_AB_P_B]；

P(A)>0时，![P(B|A)=\\frac\{P(AB)\}\{P(A)\}][P_B_A_frac_P_AB_P_A]

把条件概率的公式变一下，我们就得到了乘法公式：

![\\large P(AB)=P(B)\*P(A|B)][large P_AB_P_B_P_A_B]

![\\large P(AB)=P(A)\*P(B|A)][large P_AB_P_A_P_B_A]

乘法定理即乘法公式的扩展：

![\\large P(A\_\{1\}A\_\{2\}\\cdots A\_\{n\})=P(A\_\{1\})\*P(A\_\{2\}|A\_\{1\})\*P(A\_\{3\}|A\_\{1\}A\_\{2\})\*\\cdots P(A\_\{n\}|A\_\{1\}A\_\{2\}\\cdots A\_\{n-1\})][large P_A_1_A_2_cdots A_n_P_A_1_P_A_2_A_1_P_A_3_A_1_A_2_cdots P_A_n_A_1_A_2_cdots A_n-1]

### 最后要介绍的就是全概率公式和贝叶斯公式： ###

**全概率公式**

定义：设S为试验E的样本空间，![\\large B\_\{1\},B\_\{2\}\\cdots][large B_1_B_2_cdots]为E的一组事件，若

![\\large (1) \\bigcup\_\{i=1\}^\{\\infty \}B\_\{i\}=S;][large _1_ _bigcup_i_1_infty _B_i_S]

![\\large (2) B\_\{i\}B\_\{j\}=\\varnothing ,i\\neq j; i,j=1,2,\\cdots ,][large _2_ B_i_B_j_varnothing _i_neq j_ i_j_1_2_cdots]

则称![\\large B\_\{1\},B\_\{2\}\\cdots][large B_1_B_2_cdots]为样本空间S的一个划分或者分割。

全概率公式：设![\\large B\_\{1\},B\_\{2\}\\cdots][large B_1_B_2_cdots]为样本空间S的一个划分，且![\\large P(B\_\{i\})>0,i=1,2\\cdots][large P_B_i_0_i_1_2_cdots]，则对任何事件A有

![\\large P(A)=\\sum\_\{i=1\}^\{\\infty \}P(B\_\{i\})\*P(A|B\_\{i\})][large P_A_sum_i_1_infty _P_B_i_P_A_B_i]

全概率公式的证明：

若![\\large A\\subseteq S][large A_subseteq S]，则：

![\\large P(A)=P(A \\cap S)=P (A\\cap(\\bigcup\_\{i=1\}^\{\\infty \}B\_\{i\}))=P(\\bigcup\_\{i=1\}^\{\\infty\}(A\\cap B\_\{i\})) =\\sum\_\{i=1\}^\{\\infty\}P(A\\cap B\_\{i\})=\\sum\_\{i=1\}^\{\\infty\}P(B\_\{i\})P(A|B\_\{i\})][large P_A_P_A _cap S_P _A_cap_bigcup_i_1_infty _B_i_P_bigcup_i_1_infty_A_cap B_i_ _sum_i_1_infty_P_A_cap B_i_sum_i_1_infty_P_B_i_P_A_B_i]

类似地，我们也可以从集合的角度理解全概率公式，下图即全概率公式的图解：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1][]

**举个全概率公式的栗子：**

某工厂有四条流水线生产同一产品，四条流水线的产量分别占总产量的15%，20%，30%，35%，又知这四条流水线的不合格品率依次为0.05，0.04，0.03，0.02。现从出厂产品中任取一件，求恰好取到不合格品的概率。

设以A表示事件任取一件，恰好取到不合格品，![\\large B\_\{i\}][large B_i]表示任取一件取到第i条流水线的产品，i=1，2，3，4，则![\\large B\_\{1\},B\_\{2\},B\_\{3\},B\_\{4\}][large B_1_B_2_B_3_B_4]构成样本空间的一个划分，且：

![\\large P(B\_\{1\})=0.15,P(B\_\{2\})=0.20,P(B\_\{3\})=0.30,P(B\_\{4\})=0.35;][large P_B_1_0.15_P_B_2_0.20_P_B_3_0.30_P_B_4_0.35]

![\\large P(A|B\_\{1\})=0.05,P(A|B\_\{2\})=0.04;][large P_A_B_1_0.05_P_A_B_2_0.04]

![\\large P(A|B\_\{3\})=0.03,P(A|B\_\{4\})=0.02.][large P_A_B_3_0.03_P_A_B_4_0.02.]

由全概率公式可得：

![\\large P(A)=\\sum\_\{i=1\}^\{\\infty\}P(B\_\{i\})P(A|B\_\{i\})=0.15\*0.05+0.20\*0.04+0.30\*0.03+0.35\*0.02=0.0315][large P_A_sum_i_1_infty_P_B_i_P_A_B_i_0.15_0.05_0.20_0.04_0.30_0.03_0.35_0.02_0.0315]

因此，从出厂产品中任取一件，恰好取到不合格品的概率是3.15%。

**贝叶斯公式**

在上述例子中，若该厂规定，出了不合格品要追究有关流水线的经济责任。现从出厂产品中任取一件，结果为不合格品，但该产品是哪一条流水线生产的标志已经脱落，问该产品来自四条流水线其中某一条流水线的概率分别是多少？

上述问题实际上就是求在已经知道取到不合格品的条件下，该产品来自四条流水线其中某一条流水线的条件概率，则

![\\large P(B\_\{1\}|A)=\\frac\{P(AB\_\{1\})\}\{P(A)\}=\\frac\{P(B\_\{1\})\*P(A|B\_\{1\})\}\{\\sum\_\{i=1\}^\{4\}P(B\_\{i\})P(A|B\_\{i\})\}=\\frac\{0.15\*0.05\}\{0.0315\}=0.2381][large P_B_1_A_frac_P_AB_1_P_A_frac_P_B_1_P_A_B_1_sum_i_1_4_P_B_i_P_A_B_i_frac_0.15_0.05_0.0315_0.2381]

同理，可求得  ![\\large P(B\_\{2\}|A),P(B\_\{3\}|A),P(B\_\{4\}|A).][large P_B_2_A_P_B_3_A_P_B_4_A_.]

至此，我们引入了一个极为有用的公式，即如下的贝叶斯公式：

设![\\large B\_\{1\},B\_\{2\}\\cdots][large B_1_B_2_cdots]为样本空间S的一个划分，且 ![\\large P(B\_\{i\})>0,i=1,2,\\cdots][large P_B_i_0_i_1_2_cdots 1]，则对任何事件A，若 ![\\large P(A)>0,][large P_A_0]有

![\\large P(B\_\{i\}|A)=\\frac\{P(B\_\{i\})P(A|B\_\{i\})\}\{\\sum\_\{j=1\}^\{\\infty\}P(B\_\{j\})P(A|B\_\{j\})\}][large P_B_i_A_frac_P_B_i_P_A_B_i_sum_j_1_infty_P_B_j_P_A_B_j]，此式即贝叶斯公式。

贝叶斯公式本质上就是条件概率公式，只不过是用乘法公式展开了条件概率公式中的分子，用全概率公式展开了条件概率公式中的分母。

PS：本文内容主要参考由高等教育出版社出版，严继高老师主编的《概率论与数理统计》一书

[gif.latex_25u5219_25u79F0_25u6BD4_25u503C]: https://private.codecogs.com/gif.latex?%25u5219%25u79F0%25u6BD4%25u503C
[gif.latex]: https://private.codecogs.com/gif.latex?
[small _frac_P_AB_P_B]: https://private.codecogs.com/gif.latex?%5Csmall%20%5Cfrac%7BP%28AB%29%7D%7BP%28B%29%7D
[P_A_B_frac_P_AB_P_B]: https://private.codecogs.com/gif.latex?P%28A%7CB%29%3D%5Cfrac%7BP%28AB%29%7D%7BP%28B%29%7D
[P_A_B_frac_k_m_frac_k_n_m_n_frac_P_AB_P_B]: https://private.codecogs.com/gif.latex?P%28A%7CB%29%3D%5Cfrac%7Bk%7D%7Bm%7D%3D%5Cfrac%7Bk/n%7D%7Bm/n%7D%3D%5Cfrac%7BP%28AB%29%7D%7BP%28B%29%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70]: /images/20211209/9a358a7c194148b687184da12f2ba4b2.png
[large _A_i]: https://private.codecogs.com/gif.latex?%5Clarge%20_%7BA_%7Bi%7D%7D
[large P_A_1_frac_3_10]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B1%7D%29%3D%5Cfrac%7B3%7D%7B10%7D
[large P_A_2_frac_7_10_ _frac_3_9_frac_3_10_frac_2_9_frac_3_10]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B2%7D%29%3D%5Cfrac%7B7%7D%7B10%7D*%20%5Cfrac%7B3%7D%7B9%7D&plus;%5Cfrac%7B3%7D%7B10%7D*%5Cfrac%7B2%7D%7B9%7D%3D%5Cfrac%7B3%7D%7B10%7D
[large P_A_1_A_2_frac_3_2_10_9_frac_1_15]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B1%7DA_%7B2%7D%29%3D%5Cfrac%7B3*2%7D%7B10*9%7D%3D%5Cfrac%7B1%7D%7B15%7D
[large P_A_2_A_1_frac_P_A_1_A_2_P_A_1_frac_1_15_div _frac_3_10_frac_2_9]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B2%7D%7CA_%7B1%7D%29%3D%5Cfrac%7BP%28A_%7B1%7DA_%7B2%7D%29%7D%7BP%28A_%7B1%7D%29%7D%3D%5Cfrac%7B1%7D%7B15%7D%5Cdiv%20%5Cfrac%7B3%7D%7B10%7D%3D%5Cfrac%7B2%7D%7B9%7D
[large P_A_1_A_2_frac_P_A_1_A_2_P_A_2_frac_1_15_div _frac_3_10_frac_2_9]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B1%7D%7CA_%7B2%7D%29%3D%5Cfrac%7BP%28A_%7B1%7DA_%7B2%7D%29%7D%7BP%28A_2%29%7D%3D%5Cfrac%7B1%7D%7B15%7D%5Cdiv%20%5Cfrac%7B3%7D%7B10%7D%3D%5Cfrac%7B2%7D%7B9%7D
[large P_A_1_P_A_2]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B1%7D%29%3DP%28A_%7B2%7D%29
[P_B_A_frac_P_AB_P_A]: https://private.codecogs.com/gif.latex?P%28B%7CA%29%3D%5Cfrac%7BP%28AB%29%7D%7BP%28A%29%7D
[large P_AB_P_B_P_A_B]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28AB%29%3DP%28B%29*P%28A%7CB%29
[large P_AB_P_A_P_B_A]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28AB%29%3DP%28A%29*P%28B%7CA%29
[large P_A_1_A_2_cdots A_n_P_A_1_P_A_2_A_1_P_A_3_A_1_A_2_cdots P_A_n_A_1_A_2_cdots A_n-1]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A_%7B1%7DA_%7B2%7D%5Ccdots%20A_%7Bn%7D%29%3DP%28A_%7B1%7D%29*P%28A_%7B2%7D%7CA_%7B1%7D%29*P%28A_%7B3%7D%7CA_%7B1%7DA_%7B2%7D%29*%5Ccdots%20P%28A_%7Bn%7D%7CA_%7B1%7DA_%7B2%7D%5Ccdots%20A_%7Bn-1%7D%29
[large B_1_B_2_cdots]: https://private.codecogs.com/gif.latex?%5Clarge%20B_%7B1%7D%2CB_%7B2%7D%5Ccdots
[large _1_ _bigcup_i_1_infty _B_i_S]: https://private.codecogs.com/gif.latex?%5Clarge%20%281%29%20%5Cbigcup_%7Bi%3D1%7D%5E%7B%5Cinfty%20%7DB_%7Bi%7D%3DS%3B
[large _2_ B_i_B_j_varnothing _i_neq j_ i_j_1_2_cdots]: https://private.codecogs.com/gif.latex?%5Clarge%20%282%29%20B_%7Bi%7DB_%7Bj%7D%3D%5Cvarnothing%20%2Ci%5Cneq%20j%3B%20i%2Cj%3D1%2C2%2C%5Ccdots%20%2C
[large P_B_i_0_i_1_2_cdots]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7Bi%7D%29%3E0%2Ci%3D1%2C2%5Ccdots
[large P_A_sum_i_1_infty _P_B_i_P_A_B_i]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%29%3D%5Csum_%7Bi%3D1%7D%5E%7B%5Cinfty%20%7DP%28B_%7Bi%7D%29*P%28A%7CB_%7Bi%7D%29
[large A_subseteq S]: https://private.codecogs.com/gif.latex?%5Clarge%20A%5Csubseteq%20S
[large P_A_P_A _cap S_P _A_cap_bigcup_i_1_infty _B_i_P_bigcup_i_1_infty_A_cap B_i_ _sum_i_1_infty_P_A_cap B_i_sum_i_1_infty_P_B_i_P_A_B_i]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%29%3DP%28A%20%5Ccap%20S%29%3DP%20%28A%5Ccap%28%5Cbigcup_%7Bi%3D1%7D%5E%7B%5Cinfty%20%7DB_%7Bi%7D%29%29%3DP%28%5Cbigcup_%7Bi%3D1%7D%5E%7B%5Cinfty%7D%28A%5Ccap%20B_%7Bi%7D%29%29%20%3D%5Csum_%7Bi%3D1%7D%5E%7B%5Cinfty%7DP%28A%5Ccap%20B_%7Bi%7D%29%3D%5Csum_%7Bi%3D1%7D%5E%7B%5Cinfty%7DP%28B_%7Bi%7D%29P%28A%7CB_%7Bi%7D%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDgwODUw_size_16_color_FFFFFF_t_70 1]: /images/20211209/d17686a2e35349939fa936ed13e62ee3.png
[large B_i]: https://private.codecogs.com/gif.latex?%5Clarge%20B_%7Bi%7D
[large B_1_B_2_B_3_B_4]: https://private.codecogs.com/gif.latex?%5Clarge%20B_%7B1%7D%2CB_%7B2%7D%2CB_%7B3%7D%2CB_%7B4%7D
[large P_B_1_0.15_P_B_2_0.20_P_B_3_0.30_P_B_4_0.35]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7B1%7D%29%3D0.15%2CP%28B_%7B2%7D%29%3D0.20%2CP%28B_%7B3%7D%29%3D0.30%2CP%28B_%7B4%7D%29%3D0.35%3B
[large P_A_B_1_0.05_P_A_B_2_0.04]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%7CB_%7B1%7D%29%3D0.05%2CP%28A%7CB_%7B2%7D%29%3D0.04%3B
[large P_A_B_3_0.03_P_A_B_4_0.02.]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%7CB_%7B3%7D%29%3D0.03%2CP%28A%7CB_%7B4%7D%29%3D0.02.
[large P_A_sum_i_1_infty_P_B_i_P_A_B_i_0.15_0.05_0.20_0.04_0.30_0.03_0.35_0.02_0.0315]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%29%3D%5Csum_%7Bi%3D1%7D%5E%7B%5Cinfty%7DP%28B_%7Bi%7D%29P%28A%7CB_%7Bi%7D%29%3D0.15*0.05&plus;0.20*0.04&plus;0.30*0.03&plus;0.35*0.02%3D0.0315
[large P_B_1_A_frac_P_AB_1_P_A_frac_P_B_1_P_A_B_1_sum_i_1_4_P_B_i_P_A_B_i_frac_0.15_0.05_0.0315_0.2381]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7B1%7D%7CA%29%3D%5Cfrac%7BP%28AB_%7B1%7D%29%7D%7BP%28A%29%7D%3D%5Cfrac%7BP%28B_%7B1%7D%29*P%28A%7CB_%7B1%7D%29%7D%7B%5Csum_%7Bi%3D1%7D%5E%7B4%7DP%28B_%7Bi%7D%29P%28A%7CB_%7Bi%7D%29%7D%3D%5Cfrac%7B0.15*0.05%7D%7B0.0315%7D%3D0.2381
[large P_B_2_A_P_B_3_A_P_B_4_A_.]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7B2%7D%7CA%29%2CP%28B_%7B3%7D%7CA%29%2CP%28B_%7B4%7D%7CA%29.
[large P_B_i_0_i_1_2_cdots 1]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7Bi%7D%29%3E0%2Ci%3D1%2C2%2C%5Ccdots
[large P_A_0]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28A%29%3E0%2C
[large P_B_i_A_frac_P_B_i_P_A_B_i_sum_j_1_infty_P_B_j_P_A_B_j]: https://private.codecogs.com/gif.latex?%5Clarge%20P%28B_%7Bi%7D%7CA%29%3D%5Cfrac%7BP%28B_%7Bi%7D%29P%28A%7CB_%7Bi%7D%29%7D%7B%5Csum_%7Bj%3D1%7D%5E%7B%5Cinfty%7DP%28B_%7Bj%7D%29P%28A%7CB_%7Bj%7D%29%7D