指数族分布基础

刺骨的言语ヽ痛彻心扉 2022-05-18 11:08 177阅读 0赞

## 指数族分布 ##

如果一类分布可以写成如下形式，则它可以叫做 *指数族分布*  (exponential family distributions) 。

p ( y ; η ) = b ( y ) e x p ( η T T ( y ) − a ( η ) ) p(y;\\eta) = b(y) exp(\\eta^TT(y) - a(\\eta)) p(y;η)=b(y)exp(ηTT(y)−a(η))

其中 η \\eta η 是自然参数（也叫canonical parameter）,  T ( y ) T(y) T(y) 是充分统计量（通常 T ( y ) = y T(y)=y T(y)=y）,  a ( η ) a(\\eta) a(η) 为对数分布函数， e − a ( η ) e^\{-a(\\eta)\} e−a(η) 起着归一化常数的作用，使得概率分布 p ( y ; η ) p(y;\\eta) p(y;η) 在  y y y 和 1 之间求和或者求积分。

如果分布中的  T , a , b T,a,b T,a,b 固定，当  η \\eta η 改变时，将在这个家族中获得不同的分布。

伯努利分布（也叫两点分布，0-1分布）和高斯分布都属于指数族分布。下面介绍一下原因。

### 1. 伯努利分布 ###

p ( y ; ϕ ) = ϕ y ( 1 − ϕ ) 1 − y = exp ⁡ ( ln ⁡ ( ϕ y ( 1 − ϕ ) 1 − y ) ) = exp ⁡ ( y ln ⁡ ( ϕ ) + ( 1 − y ) ln ⁡ ( 1 − ϕ ) ) = exp ⁡ ( y ln ⁡ ( ϕ 1 − ϕ ) + ln ⁡ ( 1 − ϕ ) ) \\begin\{aligned\} p(y ; \\phi) &=\\phi^\{y\}(1-\\phi)^\{1-y\} \\\\ &=\\exp \\left(\\ln \\left(\\phi^\{y\}(1-\\phi)^\{1-y\}\\right)\\right) \\\\ &=\\exp (y \\ln (\\phi)+(1-y) \\ln (1-\\phi)) \\\\ &=\\exp \\left(y \\ln \\left(\\frac\{\\phi\}\{1-\\phi\}\\right)+\\ln (1-\\phi)\\right) \\end\{aligned\} p(y;ϕ)=ϕy(1−ϕ)1−y=exp(ln(ϕy(1−ϕ)1−y))=exp(yln(ϕ)\+(1−y)ln(1−ϕ))=exp(yln(1−ϕϕ)\+ln(1−ϕ))

对应公式（1），可得：  
 b ( y ) = 1 , T ( y ) = y ; η = l n ϕ 1 − ϕ , a ( η ) = − l n ( 1 − ϕ ) = l n ( 1 + e η ) b(y) = 1,T(y) = y;\\eta = ln \\frac\{\\phi\}\{1-\\phi\} ,a(\\eta) = -ln(1-\\phi) = ln(1+e^\{\\eta\}) b(y)=1,T(y)=y;η=ln1−ϕϕ,a(η)=−ln(1−ϕ)=ln(1\+eη)

### 2. 高斯分布 ###

因为  p ( y ; u ) p(y;u) p(y;u) 中没有 σ 2 \\sigma^2 σ2所以我们令  σ 2 = 1 \\sigma^2 = 1 σ2=1 。  
 p ( y ; μ ) = 1 2 π exp ⁡ ( − 1 2 ( y − μ ) 2 ) = 1 2 π exp ⁡ ( − 1 2 y 2 ) exp ⁡ ( μ y − 1 2 μ 2 ) \\begin\{aligned\} p(y ; \\mu) &=\\frac\{1\}\{\\sqrt\{2 \\pi\}\} \\exp \\left(-\\frac\{1\}\{2\}(y-\\mu)^\{2\}\\right) \\\\ &=\\frac\{1\}\{\\sqrt\{2 \\pi\}\} \\exp \\left(-\\frac\{1\}\{2\} y^\{2\}\\right) \\exp \\left(\\mu y-\\frac\{1\}\{2\} \\mu^\{2\}\\right) \\end\{aligned\} p(y;μ)=2π1exp(−21(y−μ)2)=2π1exp(−21y2)exp(μy−21μ2)  
对应公式（1），可得：  
 b ( y ) = 1 2 π e x p ( − 1 2 y 2 ) , T ( y ) = y ; η = μ , a ( η ) = μ 2 / 2 = η 2 / 2 b(y) = \\frac\{1\}\{\\sqrt\{2\\pi\}\}exp(-\\frac\{1\}\{2\}y^2),T(y) = y;\\eta =\\mu ,a(\\eta) = \\mu^2/2 = \\eta^2/2 b(y)=2π1exp(−21y2),T(y)=y;η=μ,a(η)=μ2/2=η2/2

### 3.泊松分布 ###

p ( y ; λ ) = λ y e − λ y ! = exp ⁡ ( ln ⁡ λ y e − λ y ! ) = exp ⁡ ( y ln ⁡ ( λ ) − λ − ln ⁡ ( y ! ) ) = 1 y ! exp ⁡ ( y ln ⁡ ( λ ) − λ ) \\begin\{aligned\} p(y ; \\lambda) &=\\frac\{\\lambda^\{y\} e^\{-\\lambda\}\}\{y !\} \\\\ &=\\exp \\left(\\ln \\frac\{\\lambda^\{y\} e^\{-\\lambda\}\}\{y !\}\\right) \\\\ &=\\exp (y \\ln (\\lambda)-\\lambda-\\ln (y !)) \\\\ &=\\frac\{1\}\{y !\} \\exp (y \\ln (\\lambda)-\\lambda) \\end\{aligned\} p(y;λ)=y!λye−λ=exp(lny!λye−λ)=exp(yln(λ)−λ−ln(y!))=y!1exp(yln(λ)−λ)

对应公式（1），可得：  
 b ( y ) = 1 y ! , T ( y ) = y ; η = l n ( λ ) , a ( η ) = λ = e η b(y) = \\frac\{1\}\{y!\},T(y) = y;\\eta =ln(\\lambda) ,a(\\eta) = \\lambda = e^\{\\eta\} b(y)=y!1,T(y)=y;η=ln(λ),a(η)=λ=eη

[泊松分布族是指数型分布族吗？][Link 1]  
[斯坦福机器学习课程Lecture 1（cs229-notes1）][Lecture 1_cs229-notes1]

[Link 1]: https://www.zhihu.com/question/29138942
[Lecture 1_cs229-notes1]: http://cs229.stanford.edu/syllabus.html