【笔记】大数定理证明

﹏ヽ暗。殇╰゛Y 2022-04-02 19:10 245阅读 0赞

## 简述 ##

复习一下概率论大数定理的证明。  
证明大数定理，需要先证明切比雪夫（Chebyshev）不等式。

### Chebyshev不等式证明 ###

**定理** 设随机变量X具有数学期望 E ( x ) = μ E(x)=\\mu E(x)=μ，方差为 D ( x ) = σ 2 D(x) =\\sigma^2 D(x)=σ2，则对任意正数 ε \\varepsilon ε，不等式  
 P \{ ∣ X − μ ∣ ≥ ε \} ≤ σ 2 ε 2 P\\\{|X-\\mu| \\geq \\varepsilon\\\}\\leq\\frac\{\\sigma^2\}\{\\varepsilon^2\} P\{ ∣X−μ∣≥ε\}≤ε2σ2  
成立。 这就是**chebyshev不等式**

**证明：** 只需要考虑连续变量的情况，离散情况将积分替换为累积求和即可。  
 P \{ ∣ X − μ ∣ ≥ ε \} = ∫ ∣ X − μ ∣ ≥ ε f ( x ) d x ≤ ∫ ∣ X − μ ∣ ≥ ε ∣ X − μ ∣ 2 ε 2 f ( x ) d x ≤ 1 ε 2 ∫ ∣ X − μ ∣ 2 f ( x ) d x = σ 2 ε 2 P\\\{|X-\\mu| \\geq \\varepsilon\\\} = \\int\_\{|X-\\mu| \\geq \\varepsilon\}\{f(x)dx\}\\leq \\int\_\{|X-\\mu| \\geq \\varepsilon\}\{\\frac\{|X-\\mu|^2\}\{\\varepsilon^2\}f(x)dx\}\\leq \\\\ \\frac\{1\}\{\\varepsilon^2\} \\int\_\{\}\{|X-\\mu|^2f(x)dx\}=\\frac\{\\sigma^2\}\{\\varepsilon^2\} P\{ ∣X−μ∣≥ε\}=∫∣X−μ∣≥εf(x)dx≤∫∣X−μ∣≥εε2∣X−μ∣2f(x)dx≤ε21∫∣X−μ∣2f(x)dx=ε2σ2

得证。

### 大数定理证明 ###

**定理** 设随机变量 X 1 , X 1 , . . . , X n X\_1,X\_1,...,X\_n X1,X1,...,Xn **i.i.d(independent and identically distributed 独立同分布)**，具有数学期望 E ( x ) = μ E(x)=\\mu E(x)=μ，方差为 D ( x ) = σ 2 D(x) =\\sigma^2 D(x)=σ2，样本均值 x ˉ \\bar x xˉ，则对任意正数 ε \\varepsilon ε  
 lim ⁡ n → ∞ P \{ ∣ x ˉ − μ ∣ ≥ ε \} = 0 \\lim\\limits\_\{n \\to \\infty \}\{P\\\{|\\bar x-\\mu| \\geq \\varepsilon\\\}\} =0 n→∞limP\{ ∣xˉ−μ∣≥ε\}=0  
成立。 这就是**大数定理**

**证明：**

*  样本均值的均值  E ( x ˉ ) = μ E(\\bar x)=\\mu E(xˉ)=μ
 *  样本均值的方差  V a r ( x ˉ ) = σ 2 n Var(\\bar x)=\\frac\{\\sigma^2\}\{n\} Var(xˉ)=nσ2  
    由切比雪夫不等式有，

P \{ ∣ x ˉ − μ ∣ ≥ ε \} ≤ v a r ( x ˉ ) ε 2 = σ 2 n ∗ ε 2 P\\\{|\\bar x-\\mu| \\geq \\varepsilon\\\} \\leq \\frac\{var(\\bar x)\}\{\\varepsilon^2\}=\\frac\{\\sigma^2\}\{n\*\\varepsilon^2\} P\{ ∣xˉ−μ∣≥ε\}≤ε2var(xˉ)=n∗ε2σ2  
得证。