Stein估计

迷南。 2022-09-16 15:15 194阅读 0赞

### 文章目录 ###

*  什么是Stein估计
 *  Stein估计的定义
 *  Stein估计的性质
 *  压缩系数的选择
 *  参考文献

# 什么是Stein估计 #

岭估计都是对LS估计 β ^ \\hat\{\\beta\} β^向远点作压缩。一般来说，它们是对 β ^ \\hat\{\\beta\} β^各分量的不均匀压缩。Stein估计是一种均匀压缩估计，它是由Stein于1955年提出的。这是最简单、提出最早的一种有偏估计。虽然它的应用远不及岭估计，但却在有偏估计发展史上占有重要地位。

# Stein估计的定义 #

对于线性回归模型，记 β ^ \\hat\{\\beta\} β^为回归系数 β \\beta β的LS估计，称 β ^ s ( c ) = c β ^ \\hat\{\\beta\}\_s(c)=c\\hat\{\\beta\} β^s(c)=cβ^为\\beta的Stein估计，这里 0 ≤ c ≤ 1 0\\leq c\\leq 1 0≤c≤1称为压缩系数。当 c c c在 \[ 0 , 1 \] \[0,1\] \[0,1\]区间变化时，就生成了一个估计类，并简记为 β ^ s \\hat\{\\beta\}\_s β^s。

# Stein估计的性质 #

1.  当 c ≠ 1 c\\neq 1 c=1，显然 β ^ s \\hat\{\\beta\}\_s β^s为 β \\beta β的有篇、压缩估计。
2.  存在 0 < c < 1 0<c<1 0<c<1，使得MSE( β ^ s \\hat\{\\beta\}\_s β^s)<MSE( β ^ \\hat\{\\beta\} β^)。  
    事实上， β ^ s \\hat\{\\beta\}\_s β^s的均方误差  
     M S E ( β ^ s ) = t r C o v ( β ^ s ) + ∥ E β ^ s − β ∥ 2 = c 2 σ 2 t r ( X ′ X ) − 1 + ( c − 1 ) 2 ∥ β ∥ 2 = c 2 σ 2 ∑ i = 1 p λ i − 1 + ( c − 1 ) 2 ∥ β ∥ 2 ≡ g ( c ) , \\begin\{aligned\} MSE(\\hat\{\\beta\}\_s)&=tr Cov(\\hat\{\\beta\}\_s)+\\|E \\hat\{\\beta\}\_s-\\beta\\|^2\\\\ &=c^2\\sigma^2 tr(X'X)^\{-1\}+(c-1)^2\\|\\beta\\|^2\\\\ &=c^2\\sigma^2\\sum\_\{i=1\}^p \\lambda\_i^\{-1\}+(c-1)^2\\|\\beta\\|^2\\\\ &\\equiv g(c), \\end\{aligned\} MSE(β^s)=trCov(β^s)\+∥Eβ^s−β∥2=c2σ2tr(X′X)−1\+(c−1)2∥β∥2=c2σ2i=1∑pλi−1\+(c−1)2∥β∥2≡g(c),  
    对 c c c求导数，并令其等于0，解得 c c c的最优值  
     c ∗ = ∥ β ∥ 2 σ 2 ∑ i = 1 p λ i − 1 + ∥ β ∥ 2 c^\*=\\frac\{\\|\\beta\\|^2\}\{\\sigma^2\\sum\_\{i=1\}^p\\lambda\_i^\{-1\}+\\|\\beta\\|^2\} c∗=σ2∑i=1pλi−1\+∥β∥2∥β∥2  
    容易证明，在 c ∗ c^\* c∗处， g ( c ) = M S E ( β ^ s ) g(c)=MSE(\\hat\{\\beta\}\_s) g(c)=MSE(β^s)达到最小，且 c ∗ ≤ c < 1 c^\*\\leq c<1 c∗≤c<1时 M S E ( β ^ s ) < M S E ( β ^ ) MSE(\\hat\{\\beta\}\_s)<MSE(\\hat\{\\beta\}) MSE(β^s)<MSE(β^). 即Stein估计比LS估计有较小的均方误差。

和岭估计一样，可以证明，对一切 0 < c ≤ 1 0<c\\leq 1 0<c≤1 Stein估计是 β \\beta β的可容许估计，并且它还是Bayes估计。

# 压缩系数的选择 #

1.  Stein-James法
2.  应用公式  
     c = \{ 1 2 + 1 4 − τ ^ − 1 , τ ^ ≥ 4 0 , τ ^ < 4 , \\begin\{aligned\} c=\\begin\{cases\} \\frac\{1\}\{2\}+\\sqrt\{\\frac\{1\}\{4\}-\\hat\{\\tau\}^\{-1\}\},\\quad &\\hat\{\\tau\}\\geq 4\\\\ 0,\\quad &\\hat\{\\tau\}<4 \\end\{cases\} \\end\{aligned\}, c=\{ 21\+41−τ^−1,0,τ^≥4τ^<4,  
    其中 τ ^ = ∥ β ^ ∥ 2 / ( σ 2 ^ ∑ i = 1 p λ i − 1 ) \\hat\{\\tau\}=\\|\\hat\{\\beta\}\\|^2/(\\hat\{\\sigma^2\}\\sum\_\{i=1\}^p\\lambda\_i^\{-1\}) τ^=∥β^∥2/(σ2^∑i=1pλi−1).
3.  Farebrother法

# 参考文献 #

《回归分析》陈希孺