似然函数的概念【转载】

迷南。 2021-12-18 15:27 233阅读 0赞

## 转自：[https://www.cnblogs.com/kevinGaoblog/archive/2012/03/29/2424346.html][https_www.cnblogs.com_kevinGaoblog_archive_2012_03_29_2424346.html] ##

//这篇真的讲的太透彻了！

## 1.概念 ##

（源自：维基百科）

在[数理统计学][Link 1]中，**似然函数**是一种关于[统计模型][Link 2]中的[参数][Link 3]的[函数][Link 4]，表示模型参数中的**似然性**。

似然函数在[统计推断][Link 5]中有重大作用，如在[最大似然估计][Link 6]和[费雪信息][Link 7]之中的应用等等。“似然性”与“或然性”或“[概率][Link 8]”意思相近，都是指某种事件发生的可能性，但是在[统计学][Link 9]中，“似然性”和“或然性”或“概率”又有明确的区分。

[概率][Link 8] 用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而

似然性 则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

在这种意义上，似然函数可以理解为[条件概率][Link 10]的逆反。

在已知某个参数**B**时，事件**A**会发生的概率写作![\\mathbb\{P\}(A \\mid B)][mathbb_P_A _mid B]。

![P(A \\mid B) = \\frac\{P(A , B)\}\{P(B)\} \\!][P_A _mid B_ _ _frac_P_A _ B_P_B_]

利用[贝叶斯定理][Link 11]，

![P(B \\mid A) = \\frac\{P(A \\mid B)\\;P(B)\}\{P(A)\} \\!][P_B _mid A_ _ _frac_P_A _mid B_P_B_P_A_]

因此，我们可以反过来构造表示似然性的方法：已知有事件**A**发生，运用似然函数![\\mathbb\{L\}(B \\mid A)][mathbb_L_B _mid A]，我们估计参数**B**的可能性。

形式上，似然函数也是一种条件概率函数，但我们关注的[变量][Link 12]改变了：

![b\\mapsto P(A \\mid B=b)  \\!][b_mapsto P_A _mid B_b_]

注意到这里并不要求似然函数满足归一性：![\\sum\_\{b \\in \\mathcal\{B\}\}P(A \\mid B=b) = 1][sum_b _in _mathcal_B_P_A _mid B_b_ _ 1]。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有α > 0，都可以有似然函数：

![L(b \\mid A) = \\alpha \\; P(A \\mid B=b) \\!][L_b _mid A_ _ _alpha _ P_A _mid B_b_]

## 2.例子 ##

考虑投掷一枚硬币的实验。通常来说，已知投出的硬币正面朝上和反面朝上的概率各自是*p**H* = 0.5，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：

![P(\\mbox\{HH\} \\mid p\_H = 0.5) = 0.5^2 = 0.25][P_mbox_HH_ _mid p_H _ 0.5_ _ 0.5_2 _ 0.25]

其中**H**表示正面朝上。

在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型：假设硬币投出时会有*p**H* 的概率正面朝上，而有1 −*p**H* 的概率反面朝上。这时，条件概率可以改写成似然函数：

![L(p\_H =  0.5 \\mid \\mbox\{HH\}) = P(\\mbox\{HH\}\\mid p\_H = 0.5) =0.25][L_p_H _ 0.5 _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ 0.5_ _0.25]

也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，*p**H* = 0.5 的**似然性**是0.25（这并不表示当观测到两次正面朝上时*p**H* = 0.5 的**概率**是0.25）。

如果考虑*p**H* = 0.6，那么似然函数的值也会改变。

![L(p\_H = 0.6 \\mid \\mbox\{HH\}) = P(\\mbox\{HH\}\\mid p\_H = 0.6) =0.36][L_p_H _ 0.6 _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ 0.6_ _0.36]

注意到似然函数的值变大了。这说明，如果参数*p**H* 的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设*p**H* = 0.5时更大。也就是说，参数*p**H* 取成0.6 要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。

在这个例子中，似然函数实际上等于：

![L(p\_H = \\theta  \\mid \\mbox\{HH\}) = P(\\mbox\{HH\}\\mid p\_H = \\theta) =\\theta^2][L_p_H _ _theta _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ _theta_ _theta_2]， 其中 ![0 \\le p\_H  \\le 1][0 _le p_H _le 1]。

如果取*p**H* = 1，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。

类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第三次反面朝上，那么似然函数将会是：

![L(p\_H = \\theta  \\mid \\mbox\{HHT\}) = P(\\mbox\{HHT\}\\mid p\_H = \\theta) =\\theta^2(1 - \\theta)][L_p_H _ _theta _mid _mbox_HHT_ _ P_mbox_HHT_mid p_H _ _theta_ _theta_2_1 - _theta]， 其中 **T**表示反面朝上， ![0 \\le p\_H  \\le 1][0 _le p_H _le 1]。

这时候，似然函数的最大值将会在![p\_H = \\frac\{2\}\{3\}][p_H _ _frac_2_3]的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率![p\_H = \\frac\{2\}\{3\}][p_H _ _frac_2_3]是最合理的。

转载于:https://www.cnblogs.com/BlueBlueSea/p/10401877.html

[https_www.cnblogs.com_kevinGaoblog_archive_2012_03_29_2424346.html]: https://www.cnblogs.com/kevinGaoblog/archive/2012/03/29/2424346.html
[Link 1]: http://zh.wikipedia.org/wiki/%E6%95%B0%E7%90%86%E7%BB%9F%E8%AE%A1%E5%AD%A6
[Link 2]: http://zh.wikipedia.org/w/index.php?title=%E7%BB%9F%E8%AE%A1%E6%A8%A1%E5%9E%8B&action=edit&redlink=1
[Link 3]: http://zh.wikipedia.org/wiki/%E5%8F%82%E6%95%B0
[Link 4]: http://zh.wikipedia.org/wiki/%E5%87%BD%E6%95%B0
[Link 5]: http://zh.wikipedia.org/wiki/%E7%BB%9F%E8%AE%A1%E6%8E%A8%E6%96%AD
[Link 6]: http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1
[Link 7]: http://zh.wikipedia.org/w/index.php?title=%E8%B4%B9%E9%9B%AA%E4%BF%A1%E6%81%AF&action=edit&redlink=1
[Link 8]: http://zh.wikipedia.org/wiki/%E6%A6%82%E7%8E%87
[Link 9]: http://zh.wikipedia.org/wiki/%E7%BB%9F%E8%AE%A1%E5%AD%A6
[Link 10]: http://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87
[mathbb_P_A _mid B]: /images/20211218/a941d0d9ef5a40d7856e47ea9e1a5146.png
[P_A _mid B_ _ _frac_P_A _ B_P_B_]: /images/20211218/b123a861cc9e4b12beb86bf5a80b5461.png
[Link 11]: http://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86
[P_B _mid A_ _ _frac_P_A _mid B_P_B_P_A_]: /images/20211218/a595e0b1f1484f8a9e0db02f680c4dd5.png
[mathbb_L_B _mid A]: /images/20211218/d7f0e5574abb479c8476ef83f87186a7.png
[Link 12]: http://zh.wikipedia.org/wiki/%E5%8F%98%E9%87%8F
[b_mapsto P_A _mid B_b_]: /images/20211218/e77ca62d08db414f976e5a2b3d767c67.png
[sum_b _in _mathcal_B_P_A _mid B_b_ _ 1]: /images/20211218/90050261787e48849820fa52e165de67.png
[L_b _mid A_ _ _alpha _ P_A _mid B_b_]: /images/20211218/130f986c425441baa02da5952ab4a776.png
[P_mbox_HH_ _mid p_H _ 0.5_ _ 0.5_2 _ 0.25]: /images/20211218/528a87074b094469ad1246145e50ba64.png
[L_p_H _ 0.5 _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ 0.5_ _0.25]: /images/20211218/d74a8ccf7b884c93915503c6a6a4e71d.png
[L_p_H _ 0.6 _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ 0.6_ _0.36]: /images/20211218/014d63a657e34d13a66e9c06807101cc.png
[L_p_H _ _theta _mid _mbox_HH_ _ P_mbox_HH_mid p_H _ _theta_ _theta_2]: http://upload.wikimedia.org/wikipedia/zh/math/5/c/a/5ca8a17209fe4f958a737e5931269c25.png
[0 _le p_H _le 1]: /images/20211218/e0d4940704184053a7a413adc25d3d36.png
[L_p_H _ _theta _mid _mbox_HHT_ _ P_mbox_HHT_mid p_H _ _theta_ _theta_2_1 - _theta]: http://upload.wikimedia.org/wikipedia/zh/math/7/9/3/7938a0c15a81e2e483025ca0a716ee29.png
[p_H _ _frac_2_3]: /images/20211218/304123e1e32149598b33307b4e7174de.png