概率论基础 - 1 - 基础概念

谁借莪１个温暖的怀抱￠ 2022-09-04 12:46 150阅读 0赞

> 本系列记录概率论基础知识，本文介绍最基本的概率论概念。

### 概率与分布 ###

#### 条件概率与独立事件 ####

##### 条件概率 #####

*  已知 A A A事件发生的条件下 B B B发生的概率，记作 P ( B ∣ A ) P(B \\mid A) P(B∣A) ，它等于事件 A B AB AB的概率相对于事件 A A A的概率，即：

P ( B ∣ A ) = P ( A B ) P ( A ) P(B \\mid A)=\\frac\{P(A B)\}\{P(A)\} P(B∣A)=P(A)P(AB)

*  其中  P ( A ) > 0 \{P(A)\} > 0 P(A)>0

##### 条件概率分布的链式法则 #####

*  对于 n n n个随机变量 X 1 , X 2 , ⋯   , X n \{X\_\{1\}, X\_\{2\}, \\cdots, X\_\{n\}\} X1,X2,⋯,Xn ，有：

P ( X 1 , X 2 , ⋯   , X n ) = P ( X 1 ) ∏ i = 2 n P ( X i ∣ X 1 , ⋯   , X i 1 ) P\\left(X\_\{1\}, X\_\{2\}, \\cdots, X\_\{n\}\\right)=P\\left(X\_\{1\}\\right) \\prod\_\{i=2\}^\{n\} P\\left(X\_\{i\} \\mid X\_\{1\}, \\cdots, X\_\{i\} 1\\right) P(X1,X2,⋯,Xn)=P(X1)i=2∏nP(Xi∣X1,⋯,Xi1)

##### 变量相互独立 #####

*  两个随机变量 X , Y X,Y X,Y相互独立的数学描述：

P ( X , Y ) = P ( X ) P ( Y ) P(X, Y)=P(X) P(Y) P(X,Y)=P(X)P(Y)

##### 变量相对独立 #####

*  两个随机变量 X , Y X,Y X,Y关于随机变量 Z Z Z条件独立的数学描述：

P ( X , Y ∣ Z ) = P ( X ∣ Z ) P ( Y ∣ Z ) P(X, Y \\mid Z)=P(X \\mid Z) P(Y \\mid Z) P(X,Y∣Z)=P(X∣Z)P(Y∣Z)

#### 联合概率分布 ####

##### 联合分布 #####

*  定义 X X X和 Y Y Y的联合分布为：

\{% raw %\}  
 P ( a , b ) = P \{ X ≤ a , Y ≤ b \} , − ∞ < a , b < + ∞ P(a, b)=P\\\{X \\leq a, Y \\leq b\\\}, \\quad-\\infty < a , b < + \\infty P(a,b)=P\{ X≤a,Y≤b\},−∞<a,b<\+∞

\{% endraw %\}

*   X X X的分布可以从联合分布中得到：

\{% raw %\}  
 P X ( a ) = P \{ X ≤ a \} = P \{ X ≤ a , Y ≤ ∞ \} = P ( a , ∞ ) , − ∞ < a < + ∞ P\_\{X\}(a)=P\\\{X \\leq a\\\}=P\\\{X \\leq a, Y \\leq \\infty\\\}=P(a, \\infty), \\quad-\\infty < a < + \\infty PX(a)=P\{ X≤a\}=P\{ X≤a,Y≤∞\}=P(a,∞),−∞<a<\+∞

\{% endraw %\}

*   Y Y Y的分布可以从联合分布中得到：

\{% raw %\}  
 P Y ( b ) = P \{ Y ≤ b \} = P \{ X ≤ ∞ , Y ≤ b \} = P ( ∞ , b ) , − ∞ < b < + ∞ P\_\{Y\}(b)=P\\\{Y \\leq b\\\}=P\\\{X \\leq \\infty, Y \\leq b\\\}=P(\\infty, b), \\quad-\\infty < b < + \\infty PY(b)=P\{ Y≤b\}=P\{ X≤∞,Y≤b\}=P(∞,b),−∞<b<\+∞

\{% endraw %\}

##### 联合概率质量函数 #####

*  当 X X X和 Y Y Y都是离散随机变量时， 定义 X X X和 Y Y Y的联合概率质量函数为：

\{% raw %\}  
 p ( x , y ) = P \{ X = x , Y = y \} p(x, y)=P\\\{X=x, Y=y\\\} p(x,y)=P\{ X=x,Y=y\}

\{% endraw %\}

*   X X X和 Y Y Y的概率质量函数分布为：

p X ( x ) = ∑ y p ( x , y ) p Y ( y ) = ∑ x p ( x , y ) p\_\{X\}(x)=\\sum\_\{y\} p(x, y) \\quad p\_\{Y\}(y)=\\sum\_\{x\} p(x, y) pX(x)=y∑p(x,y)pY(y)=x∑p(x,y)

##### 概率密度函数 #####

*  当 X X X和 Y Y Y联合地连续时，即存在函数 p ( x , y ) p(x,y) p(x,y) ，使得对于所有的实数集合 A \\mathbb\{A\} A和 B \\mathbb\{B\} B满足：

\{% raw %\}  
 P \{ X ∈ A , Y ∈ B \} = ∫ B ∫ A p ( x , y ) d x d y P\\\{X \\in \\mathbb\{A\}, Y \\in \\mathbb\{B\}\\\}=\\int\_\{\\mathbb\{B\}\} \\int\_\{\\mathbb\{A\}\} p(x, y) d x d y P\{ X∈A,Y∈B\}=∫B∫Ap(x,y)dxdy

\{% endraw %\}

*  则函数 p ( x , y ) p(x,y) p(x,y)称为 X X X和 Y Y Y的概率密度函数。
 *   X X X和 Y Y Y的联合分布为：

\{% raw %\}  
 P ( a , b ) = P \{ X ≤ a , Y ≤ b \} = ∫ − ∞ a ∫ − ∞ b p ( x , y ) d x d y P(a, b)=P\\\{X \\leq a, Y \\leq b\\\}=\\int\_\{-\\infty\}^\{a\} \\int\_\{-\\infty\}^\{b\} p(x, y) d x d y P(a,b)=P\{ X≤a,Y≤b\}=∫−∞a∫−∞bp(x,y)dxdy

\{% endraw %\}

*   X X X和 Y Y Y的分布函数：

P X ( a ) = ∫ − ∞ a ∫ − ∞ ∞ p ( x , y ) d x d y = ∫ − ∞ a p X ( x ) d x P\_\{X\}(a)=\\int\_\{-\\infty\}^\{a\} \\int\_\{-\\infty\}^\{\\infty\} p(x, y) d x d y=\\int\_\{-\\infty\}^\{a\} p\_\{X\}(x) d x PX(a)=∫−∞a∫−∞∞p(x,y)dxdy=∫−∞apX(x)dx

P Y ( b ) = ∫ ∞ ∞ ∫ ∞ b p ( x , y ) d x d y = ∫ ∞ b p Y ( y ) d y P\_\{Y\}(b)=\\int\_\{\\infty\}^\{\\infty\} \\int\_\{\\infty\}^\{b\} p(x, y) d x d y=\\int\_\{\\infty\}^\{b\} p\_\{Y\}(y) d y PY(b)=∫∞∞∫∞bp(x,y)dxdy=∫∞bpY(y)dy

*   X X X和 Y Y Y的概率密度函数：

p X ( x ) = ∫ − ∞ ∞ p ( x , y ) d y p\_\{X\}(x)=\\int\_\{-\\infty\}^\{\\infty\} p(x, y) d y pX(x)=∫−∞∞p(x,y)dy

p Y ( y ) = ∫ − ∞ ∞ p ( x , y ) d x p\_\{Y\}(y)=\\int\_\{-\\infty\}^\{\\infty\} p(x, y) d x pY(y)=∫−∞∞p(x,y)dx

### 参考资料 ###

*  http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2\_probability.html