概率与似然

红太狼 2022-10-18 11:30 154阅读 0赞

概率表达了在**给定参数条件 θ \\theta θ下**，样本 X = x X=x X=x的可能性是多大。

而似然表示的是在给定样本 X = x X=x X=x时，参数 θ \\theta θ的可能性。

例如在离散情况下：  
 L ( θ 1 ∣ x ) = P θ 1 ( X = x ) > P θ 2 ( X = x ) = L ( θ 2 ∣ x ) L(\\theta\_1|x)=P\_\{\\theta\_1\}(X=x) > P\_\{\\theta \_2\}(X=x) = L(\\theta\_2|x) L(θ1∣x)=Pθ1(X=x)>Pθ2(X=x)=L(θ2∣x)  
如果上式成立，则在参数 θ 1 \\theta\_1 θ1下随机变量 X X X取到 x x x值的可能性大于 θ 2 \\theta\_2 θ2。

同样在连续情况下也类似。

# 极大似然估计 #

在一次抽样中，得到观测值 x 1 , x 2 . . . x n x\_1,x\_2...x\_n x1,x2...xn。选取 θ ′ ( x 1 , x 2 . . . x n ) \\theta^\\prime(x\_1,x\_2...x\_n) θ′(x1,x2...xn)作为 θ \\theta θ的估计值，使得 θ = θ ′ ( x 1 , x 2 . . . x n ) \\theta=\\theta^\\prime(x\_1,x\_2...x\_n) θ=θ′(x1,x2...xn)时样本出现的概率最大。

离散型样本：  
 L ( θ ) = Π i = 1 n p ( x i ; θ ) L(\\theta)=\\Pi\_\{i=1\}^np(x\_i;\\theta) L(θ)=Πi=1np(xi;θ)  
连续型样本：  
 L ( θ ) = Π i = 1 n f ( x i ; θ ) L(\\theta)=\\Pi\_\{i=1\}^nf(x\_i;\\theta) L(θ)=Πi=1nf(xi;θ)  
极大似然估计：  
 L ( x 1 , x 2 , . . . , x n ; θ ^ ) = m a x θ ∈ Θ L ( x 1 , x 2 , . . . , x n ; θ ) L(x\_1,x\_2,...,x\_n;\\hat\\theta) = max\_\{\\theta \\in \\Theta\}L(x\_1,x\_2,...,x\_n;\\theta) L(x1,x2,...,xn;θ^)=maxθ∈ΘL(x1,x2,...,xn;θ)

# 求解 θ \\theta θ #

1.  构造似然函数： L ( θ ) L(\\theta) L(θ)
2.  对似然函数取对数： l n L ( θ ) lnL(\\theta) lnL(θ)。因为不影响极值点，所以可以取对数。
3.  求偏导 ∂ l n L ∂ θ = 0 \\frac \{\\partial lnL\}\{\\partial \\theta\} = 0 ∂θ∂lnL=0
4.  求解得到 θ \\theta θ