概率论中的期望、方差、正态分布

电玩女神 2022-03-20 09:20 420阅读 0赞

### 前言 ###

突然很想知道正态分布，就搜集了一些资料，多了解一些内容。

### 期望 ###

[知乎-数学期望问题回答][-]  
[期望、方差][Link 1]  
我就总结一下，不重复造轮子了，期望就是多次试验后得到可以达到的平均结果，关于这个多次的范围是多少，无法确定，可以理解为N次试验，期望跟概率及概率的值有关，例如经典的抛硬币问题，正面你给我一元，负面我给你一元，数值化的结果就是：

从我的角度思考这个问题： E = 0.5 ∗ 1 + 0.5 ∗ ( − 1 ) = 0 E=0.5\*1+0.5\*(-1)=0 E=0.5∗1\+0.5∗(−1)=0  
从你的角度思考这个问题： E = 0.5 ∗ ( − 1 ) + 0.5 ∗ 1 = 0 E=0.5\*(-1)+0.5\*1=0 E=0.5∗(−1)\+0.5∗1=0  
那么N次试验后，期望是0，也就是我和你口袋里的金额都是一样的，虽然过程中有输有赢，但是最终结果是大家都没有输没有赢，概率对你我都是公平的，但是如果我们一共只玩5次游戏，有可能5次硬币都是负面，我亏5元，你赢了5元，这不是我想要的期望，所以期望跟具体的实验结果是没有关联的，它反应的是这个实验结果在理想的情况下多呈现的结果，理想情况就是符合概率，10次抛硬币里面有5次正面出现、5次负面出现，我们用这个期望值做什么呢？当事件还没开始，我们就可以通过期望来反应这个事件的平均情况，但实际中不会完全符合理想情况，不符合期望结果，也就是说10次抛硬币里面有可能有9次正面，1次负面，也有可能1次正面，9次负面，没人知道实际的结果，所以，实际情况都是不确定的，但期望可以反映多次之后的平均情况。  
上述是离散型的概率的期望，还有连续性概率的期望，计算就偏繁琐一些，但本质都是一样的，  
 E ( f ( x ) ) = ∫ − ∞ + ∞ f ( x ) p ( x ) d x E(f(x))=\\int^\{+\\infty\}\_\{-\\infty\} f(x)p(x)dx E(f(x))=∫−∞\+∞f(x)p(x)dx  
其中 p ( x ) p(x) p(x)是概率密度， f ( x ) f(x) f(x)是指不同概率对应的数值，这个数值可以自己定义，具体的可以去百度多了解一下。  
期望有相应的运算操作，这些运算操作方便你计算多个事件联合起来的期望，比如 E ( x y ) = E ( x ) E ( y ) E(xy)=E(x)E(y) E(xy)=E(x)E(y)

### 方差 ###

[方差与标准差][Link 2]  
期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。  
 V a r ( x ) = E ( ( x − E ( x ) ) 2 ) = E ( x 2 − 2 x E ( x ) + ( E ( x ) 2 ) ) = E ( x 2 ) − 2 E ( x ) E ( x ) + E ( x ) E ( x ) = E ( x 2 ) − ( E ( x ) ) 2 \\begin\{aligned\} Var(x) &=E((x-E(x))^2) \\\\ &= E(x^2 - 2xE(x) + (E(x)^2)) \\\\ &= E(x^2)-2E(x)E(x)+E(x)E(x) \\\\ &= E(x^2)-(E(x))^2 \\end\{aligned\} Var(x)=E((x−E(x))2)=E(x2−2xE(x)\+(E(x)2))=E(x2)−2E(x)E(x)\+E(x)E(x)=E(x2)−(E(x))2  
推导过程中要备注一下 E ( E ( x ) ) E(E(x)) E(E(x))，我们可以把 E ( x ) E(x) E(x)看做一个数值，概率的期望本来就是一个数值，这个数值的期望就相当于 E ( 1 ) = 1 E(1)=1 E(1)=1，所以  E ( E ( x ) ) = E ( x ) E(E(x)) = E(x) E(E(x))=E(x)， E ( E ( x 2 ) ) = E ( x 2 ) E(E(x^2)) = E(x^2) E(E(x2))=E(x2)， E ( 2 x E ( x ) ) = 2 E ( x ) E ( x ) E(2xE(x)) = 2E(x)E(x) E(2xE(x))=2E(x)E(x)。  
`但是提一个问题：由如果X与Y相互独立，则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)知道， E ( x 2 ) = E ( x ∗ x ) = E ( x ) E ( x ) = ( E ( x ) ) 2 E(x^2)=E(x*x)=E(x)E(x)=(E(x))^2 E(x2)=E(x∗x)=E(x)E(x)=(E(x))2 是否成立？`因为按照期望运算这个是成立的，如果这个成立，那么上述方差就等于0了，换个角度思考，正确的解释就是 x x x与 x x x不是相互独立的，两个 x x x是相等关系的，一个 x x x的值决定了另一个 x x x。  
方差是测算离散趋势最重要、最常用的指标，一个取值与期望值的“距离”用两者差的平方表示。该平方值表示取值与分布中心的偏差程度。平方的最小取值为0。当取值与期望值相同时，此时不离散，平方为0，即“距离”最小；当随机变量偏离期望值时，平方增大。由于取值是随机的，不同取值的概率不同，我们根据概率对该平方进行加权平均，也就获得整体的离散程度——方差。它可以表示每个变量与期望之间的离散程度。标准差同样是测算离散趋势最重要、最常用的指标，标准差为方差的算术平方根，用S表示：  
 δ = V a r ( x ) \\delta =\\sqrt\{ Var(x)\} δ=Var(x)  
在方差的运算操作中，方差是不满足线性性质的，两个变量的线性组合方差计算方法如下：  
 V a r ( a x + b y ) = a 2 V a r ( x ) + b 2 V a r ( y ) + 2 C o v ( x , y ) Var(ax+by)=a^2Var(x)+b^2Var(y)+2Cov(x,y) Var(ax\+by)=a2Var(x)\+b2Var(y)\+2Cov(x,y)  
其中 C o v ( x , y ) Cov(x,y) Cov(x,y) 表示变量x、y的协方差，如果变量x、y相互独立，那么这两个变量的协方差等于0，也就说明两个相互独立的线性组合方差如下：  
 V a r ( a x + b y ) = a 2 V a r ( x ) + b 2 V a r ( y ) Var(ax+by)=a^2Var(x)+b^2Var(y) Var(ax\+by)=a2Var(x)\+b2Var(y)

### 协方差 ###

两个随机变量的协方差被定义为：  
 C o v ( x , y ) = E ( ( x − E ( x ) ) ( y − E ( y ) ) ) Cov(x,y)=E((x−E(x))(y−E(y))) Cov(x,y)=E((x−E(x))(y−E(y)))  
因此方差是一种特殊的协方差。当x=y时， C o v ( x , y ) = V a r ( x ) = V a r ( y ) Cov(x,y)=Var(x)=Var(y) Cov(x,y)=Var(x)=Var(y)。

### 正态分布 ###

这篇文章非常好的讲解了正态分布所面临的问题，其中有实例的讲解了正态分布应用、变量各种变换后的正态分布情况，  
[【程序员眼中的统计学（7）】正态分布的运用：正态之美][7]

机器学习中正态分布非常贴近生活，就像人的身高，我们讨论男生的身高，大多数人身高集中在165-180之间，180以上的占总体人数的比例太小，165以下的比例也很小，正好符合正态分布曲线的形状：中间高，两边低。所以很多时候拿正态分布来说明数据的分布情况，这样可以帮助我们了解数据的走向，上述链接中举了一个学生成绩的例子，利用分布来预测排名，大家可以看下。

Python数据分析与挖掘

### 参考博客 ###

[概率论中均值、方差、标准差介绍及C++/OpenCV/Eigen的三种实现][C_OpenCV_Eigen]

[-]: https://www.zhihu.com/question/20994432
[Link 1]: http://blog.codinglabs.org/articles/basic-statistics-calculate.html
[Link 2]: http://www.cnblogs.com/vamei/p/3232313.html
[7]: http://www.cnblogs.com/baiboy/p/tjx7.html#top
[C_OpenCV_Eigen]: https://blog.csdn.net/fengbingchun/article/details/73323475