《概率论与数理统计》：（一）概率论的基本概念

比眉伴天荒 2021-10-29 14:20 383阅读 0赞

本系列博文主要是针对`机器学习算法`中需要的一些知识点做一个总结，方便回顾和复习，我只总结了一些比较常用的概念，在学习算法的过程中遇到的概念我会慢慢更新，期待有所进步。废话不多说，我们开始总结吧！

#### 1. 重要概念 ####

*  样本空间：随机试验E的所有可能结果组成的集合成为E的样本空间。样本空间的元素，即E的每个结果，称为`样本点`。
 *  样本空间的一个`划分`：设S为试验E的样本空间，B1，B2，…，Bn 为 E 的一组事件。若：  
    （1）事件B之间两两不相交。  
    （2）事件B的并集为S。  
    则称B1，B2，…，Bn 为样本空间S的一个`划分`。
 *  频率：在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数Na成为事件A发生的频数。比值Na / n成为事件A发生的频率。大量试验证实，当重复试验的次数n逐渐增大时，频率 f（A）呈现出稳定性，逐渐稳定于某个常数，这种“频率稳定性”即通常说的`统计规律性`。
 *  概率：对于随机试验E的每一事件A赋予一个实数，记为P（A），称事件A的概率。当 n 趋近于无穷时，`频率 f（A）`在一定意义下接近于概率P（A）。

#### 2. 等可能概型（古典概型） ####

*  特点：（1）试验的`样本空间`只包含`有限个`元素。（2）试验中每个`基本事件`发生的可能性相同。由一个样本点组成的单点集，称为基本事件。
 *  `计算公式`：P（A）= A包含的基本事件的个数m / 基本事件的总数n
 *  抽样方式：（1）放回抽样（2）不放回抽样
 *

#### 3. 超几何分布 ####

*  定义：超几何分布是统计学上一种`离散概率分布`。它描述了从有限N个物件（其中包含M个指定种类的物件）中抽出n个物件，成功抽出该指定种类的物件的次数（`不放回抽样`）。称为超几何分布，是因为其形式与“超几何函数”的级数展式的系数有关。
 *  产品抽样检查中经常遇到一类实际问题，假定在N件产品中有M件不合格品，即不合格率  
    ![在这里插入图片描述][20190816154519226.jpg_pic_center]  
    在产品中随机抽n件做检查，发现k件不合格品的概率为  
    ![在这里插入图片描述][20190816154649294.jpg_pic_center]
    
    C（a,b）为古典概型的`组合`形式，a为下限，b为上限，此时我们称随机变量X服从超几何分布（hypergeometric distribution）。

#### 4. 条件概率 ####

条件概率所考虑的是事件A已发生的条件下事件B发生的概率。

*  定义:设A，B是两个事件，且P（A）> 0，称

> P（B | A） = P（AB） / P（A）

为事件A发生的条件下B发生的`条件概率`。

#### 5. 全概率公式与贝叶斯公式 ####

##### 5.1 全概率公式 #####

*  定理：设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个`划分`，且P（Bi）> 0（i = 1,2,3,…,n），则

> P（A） = P （A | B1）P（B1） + P （A | B2）P（B2）+ … + P （A | Bn）P（Bn）

称为`全概率公式`。

##### 5.2 贝叶斯公式（Bayes） #####

贝叶斯公式应用于机器学习的朴素贝叶斯分类器中，是重要并需要掌握的概念，具体实现可以参看[sklearn模块之朴素贝叶斯：（一）多项式模型的实现][sklearn]，博主还未写理论部分，可以期待后续的更新。

*  定理：设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个`划分`，且P（A） > 0 ，P（Bi） > 0 （i = 1,2,3,…,n），则

#### 6. 事件的独立性 ####

*  事件的`独立性`：设A，B是两事件，如果满足等式 P（AB） = P（A）P（B），则称事件A，B相互独立，简称A，B独立。

**例子**：试验E为抛甲、乙两枚硬币，观察正反面出现的情况。设事件A为“甲币出现H”，事件B为“乙币出现H”。E的样本空间为S = \{HH , HT , TH , TT\}  
由数据我们可以得出：  
    P（A） = 2/4 = 1/2 ， P（B） = 2/4 = 1/2  
    P（B | A） = 1/2 ，  P（AB） = 1/4  
在这里我们看到 P（B | A）= P（B），而 P（AB） = P（A） P（B），从我们的经验出发，显然甲币是否出现正面与乙币是否出现正面是互不影响的！

**参考资料**：《概率论与数理统计(第四版)》作/译者：盛骤 谢式千 潘承毅

[20190816154519226.jpg_pic_center]: /images/20211029/4e99a88c106545919a9c3428995bfb21.png
[20190816154649294.jpg_pic_center]: /images/20211029/d4352ce3a6d74ba3b73c9b142db24abc.png
[sklearn]: https://blog.csdn.net/weixin_43999327/article/details/99554549