似然函数取对数的原因

女爷i 2022-05-18 02:45 266阅读 0赞

##### 不仅仅是减少计算量 #####

在计算一个独立同分布数据集的联合概率时，如：

X=\{ x1,x2,…,xN\}  X = \{ x 1 , x 2 , … , x N \}

其联合概率是每个数据点概率的连乘：

p(X∣Θ)=∏i=1Np(xi∣Θ)  p ( X ∣ Θ ) = ∏ i = 1 N p ( x i ∣ Θ )

两边取对数则可以将连乘化为连加

lnp(X∣Θ)=∑i=1Nlnp(xi∣Θ)  ln ⁡ p ( X ∣ Θ ) = ∑ i = 1 N ln ⁡ p ( x i ∣ Θ )

乘法变成加法，从而减少了计算量；同时，如果概率中含有指数项，如高斯分布，能把指数项也化为求和形式，进一步减少计算量；另外，在对联合概率求导时，和的形式会比积的形式更方便。

但其实可能更重要的一点是，因为概率值都在\[0,1\]之间，因此，概率的连乘将会变成一个很小的值，可能会引起浮点数下溢，尤其是当数据集很大的时候，联合概率会趋向于0，非常不利于之后的计算。

##### 取对数不影响单调性 #####

p(x∣Θ1)>p(x∣Θ2)⇔lnp(x∣Θ1)>lnp(x∣Θ2)  p ( x ∣ Θ 1 ) > p ( x ∣ Θ 2 ) ⇔ ln ⁡ p ( x ∣ Θ 1 ) > ln ⁡ p ( x ∣ Θ 2 )

![这里写图片描述][70]

因为相同的单调性，它确保了概率的最大对数值出现在与原始概率函数相同的点上。因此，可以用更简单的对数似然来代替原来的似然。

Reference：[Why we consider log likelihood instead of Likelihood in Gaussian Distribution][]

[70]: /images/20220518/eee679ba154d42f7b0b98089d28e2932.png
[Why we consider log likelihood instead of Likelihood in Gaussian Distribution]: https://math.stackexchange.com/questions/892832/why-we-consider-log-likelihood-instead-of-likelihood-in-gaussian-distribution

发表评论取消回复

表情：

评论列表（有 0 条评论，266人围观）

还没有评论，来说两句吧...

相关阅读

相关似然（likelihood）、极大似然、对数似然、最大后验等

1 似然设总体X服从分布P(x；θ)（当X是连续型随机变量时为概率密度，当X为离散型随机变量时为概率分布），θ为待估参数（或者说系统参数），X1,X2,…Xn是来自于总

女爷i/ 2024年02月06日 06:33/ 0 赞/ 54 阅读

相关极大似然函数取对数的原因

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

布满荆棘的人生/ 2023年07月11日 06:27/ 0 赞/ 33 阅读

相关概率与似然

概率表达了在给定参数条件 θ \\theta θ下，样本 X = x X=x X=x的可能性是多大。而似然表示的是在给定样本 X = x X=x X=x时，参数 θ \\t

红太狼/ 2022年10月18日 11:30/ 0 赞/ 155 阅读

相关极大似然估计

极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估

分手后的思念是犯贱/ 2022年06月08日 12:36/ 0 赞/ 264 阅读

相关似然函数取对数的原因

不仅仅是减少计算量在计算一个独立同分布数据集的联合概率时，如： X=\{ x1,x2,…,xN\} X = \{ x 1 , x 2 , … , x N \}

女爷i/ 2022年05月18日 02:45/ 0 赞/ 267 阅读

相关极大似然估计

贝叶斯决策首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： P ( w ∣ x ) = P ( x ∣ w ) P ( w ) ) ) P ( x

忘是亡心i/ 2022年04月08日 16:38/ 0 赞/ 293 阅读

相关对极大似然估计的理解

参数估计（parameter estimation）统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看，区分为点估计与区间估计：从构

太过爱你忘了你带给我的痛/ 2022年02月23日 03:18/ 0 赞/ 238 阅读

相关【理解】似然函数

似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性，概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；似然性，则是用于在已知某些观测所得到的结果时

深碍√TFBOYSˉ_/ 2022年02月22日 11:34/ 0 赞/ 273 阅读

相关似然函数的概念【转载】

转自：[https://www.cnblogs.com/kevinGaoblog/archive/2012/03/29/2424346.html][https_www.cnb

迷南。/ 2021年12月18日 15:27/ 0 赞/ 233 阅读

相关似然函数和最大似然参数估计法

![689069-20160112154631194-290286573.png][] ![689069-20160112154800194-202778466.png][]

柔情只为你懂/ 2021年10月29日 15:56/ 0 赞/ 329 阅读