概率统计 (一): 极大似然估计和最大后验估计

太过爱你忘了你带给我的痛 2022-02-01 07:29 351阅读 0赞

### 极大似然估计和最大后验估计 ###

*  前言
 *  什么是估计
 *  怎么估计
 *  极大似然估计
 *  最大后验估计
 *  频率学派和贝叶斯学派
 *  总结

# 前言 #

国内有很多关于这个主题的博客, 但我都看不懂, 感觉他们在说废话.

# 什么是估计 #

线性回归, 逻辑回归, 神经网络… 这些模型都需要**数据**来进行训练, 从而优化自己的**参数**. **估计**就是这个意思, 通过**数据**来确定**概率模型**的**参数**, 只不过**估计**是用来优化概率模型而非机器学习模型.  
因此,  
**估计就是这样一个函数, 它的参数是样本数据和模型类别, 返回值是这个模型的最优参数. 个人认为它和机器学习模型的训练是一个意思.**

# 怎么估计 #

**估计**两大主流方法: 极大似然估计和最大后验估计. 下面分别介绍.

# 极大似然估计 #

首先, **概率模型**是什么?  
**概率模型表示的是一个变量或者一个事件它对每一个可能取到的数值的可能性, 他是一个数学式, 有两个未知量分别是数值  x x x 和模型参数  θ \\theta θ. 输出的是在该参数条件下随机变量取值为这个数值的概率, 可以表示为  P ( X = x ∣ Θ = θ ) P(X=x | \\Theta=\\theta) P(X=x∣Θ=θ), 简写为  P ( x ∣ θ ) P(x | \\theta) P(x∣θ).**  
因此,  
对于我们手头上的样本数据  \{ x 1 , x 2 , . . . , x n \} \\\{x\_1, x\_2, ..., x\_n\\\} \{ x1,x2,...,xn\}, 和手头上的模型  P ( x ∣ θ ) P(x| \\theta) P(x∣θ), 将所有样本数据带入模型, 可以得到  n n n 个关于  θ \\theta θ 的一元方程, 也是每个样本数据对应的概率 (刚才说过, 概率模型就是输入一个样本数据输出一个对应的概率).  
我们假设所有样本数据彼此独立, 那么也就是说这些样本数据同时出现的概率是他们各自概率的乘积, 此时我们定义这个乘积为似然函数  L L L, 即

L = P ( X ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L = P(X|\\theta)= \\prod\_\{i=1\}^nP(x\_i| \\theta) L=P(X∣θ)=∏i=1nP(xi∣θ)

它也是一个关于  θ \\theta θ 的一元方程, **极大似然估计的思想就是,  θ \\theta θ 的估计值就是能够让这个似然函数取得最大值的点. 即**

θ ^ = a r g m a x θ ∏ i = 1 n P ( x i ∣ θ ) \\hat\\theta = argmax\_\{\\theta\}\\prod\_\{i=1\}^nP(x\_i| \\theta) θ^=argmaxθ∏i=1nP(xi∣θ)

数的累乘等于其对数形式的累加, 且在  L L L 取得最大值时,  l o g L logL logL 也取得最大值, 因此上式也可以写成

θ ^ M L E = a r g m a x θ ∑ i = 1 n l o g P ( x i ∣ θ ) \\hat\\theta\_\{MLE\} = argmax\_\{\\theta\}\\sum\_\{i=1\}^nlogP(x\_i| \\theta) θ^MLE=argmaxθ∑i=1nlogP(xi∣θ)

**因此:**  
**极大似然估计就是在给定数据  X = \{ x 1 , x 2 , . . . , x n \} X=\\\{x\_1, x\_2, ..., x\_n\\\} X=\{ x1,x2,...,xn\} 和模型  P ( x ∣ θ ) P(x|\\theta) P(x∣θ) 的前提下, 求方程  y = ∑ i = 1 n l o g P ( x i ∣ θ ) y = \\sum\_\{i=1\}^nlogP(x\_i| \\theta) y=∑i=1nlogP(xi∣θ) 在取得最大值时的  θ \\theta θ 值. 字面理解为求得使当前样本数据集出现概率最大的参数  θ \\theta θ**

# 最大后验估计 #

**最大后验估计和极大似然估计几乎完全一样.**  
首先推一个公式:

P ( X , Y ) = P ( X ∣ Y ) P ( Y ) = P ( Y ∣ X ) P ( X ) P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X) P(X,Y)=P(X∣Y)P(Y)=P(Y∣X)P(X)

所以

P ( Y ∣ X ) = P ( X ∣ Y ) P ( Y ) P ( X ) P(Y|X)=\\frac\{P(X|Y)P(Y)\}\{P(X)\} P(Y∣X)=P(X)P(X∣Y)P(Y)

在当前语境里  Y Y Y 就是我们要求的参数  θ \\theta θ, 因此替换一下得到

P ( θ ∣ X ) = P ( X ∣ θ ) P ( θ ) P ( X ) P(\\theta|X) = \\frac\{P(X|\\theta)P(\\theta)\}\{P(X)\} P(θ∣X)=P(X)P(X∣θ)P(θ)

因为在给定  X X X 的情况下  P ( X ) P(X) P(X) 为常量, 所以

P ( θ ∣ X ) ∝ P ( X ∣ θ ) P ( θ ) P(\\theta|X) \\propto\{P(X|\\theta)P(\\theta)\} P(θ∣X)∝P(X∣θ)P(θ)

贝叶斯认为, 模型的参数  θ \\theta θ 由随机变量 X X X决定, 因此  θ \\theta θ 也是一个随机变量, 所以在给定样本数据  X X X 的前提下, 参数  θ \\theta θ 的不同取值对应不同的概率, **而最大后验估计就是求出其对应概率最大的那个  θ \\theta θ**.

因此最大后验估计就是求

θ ^ = a r g m a x θ P ( X ∣ θ ) P ( θ ) \\hat\\theta = argmax\_\\theta P(X|\\theta)P(\\theta) θ^=argmaxθP(X∣θ)P(θ) (其中  P ( θ ) P(\\theta) P(θ)叫做先验概率, 是我们之前已经获得的知识)

展开得到

θ ^ M A P = a r g m a x θ ∑ i = 1 n l o g P ( x i ∣ θ ) P ( θ ) \\hat\\theta\_\{MAP\} = argmax\_\{\\theta\}\\sum\_\{i=1\}^nlogP(x\_i| \\theta)P(\\theta) θ^MAP=argmaxθ∑i=1nlogP(xi∣θ)P(θ)

这就是**最大后验估计**对参数的求法. 然后我们对比一下**极大似然估计**的公式:

θ ^ M L E = a r g m a x θ ∑ i = 1 n l o g P ( x i ∣ θ ) \\hat\\theta\_\{MLE\} = argmax\_\{\\theta\}\\sum\_\{i=1\}^nlogP(x\_i| \\theta) θ^MLE=argmaxθ∑i=1nlogP(xi∣θ)

我们发现, 二者唯一的差别就是最大后验估计中考虑了先验概率, 而如果参数服从均匀分布 (也就是参数取任何值的概率都一样, 也就是  P ( θ ) P(\\theta) P(θ) 为一个常量) 时, 二者的公式完全一样, 所以 **极大似然估计是最大后验估计的特殊情况.**

这就是二者的区别和联系.

# 频率学派和贝叶斯学派 #

二者的对立实际上就是极大似然估计和最大后验估计的对立, 频率学派认为每个模型的参数都是一个真是存在的常量, 是不变的, 我们只需要通过大量的实验和观察, 通过频率的计算来逼近其概率. 而贝叶斯学派认为, 既然样本数据都是随机变量, 那么建立在随机变量之上的模型参数也应当是随机变量, 因此参数的最优值应当是该参数取得最大概率时的值.

# 总结 #

这是本人对这些概念粗浅的理解, 如果日后有了更新的理解会更新此博客并加以注明.