归一化互信息(NMI)评价指标

た入场券 2022-02-28 05:48 890阅读 0赞

# 信息熵 #

对信息进行量化度量。可以理解为某种特定信息的出现概率。

### 计算公式 ###

![\\large H(X)=-\\sum\_i p(x\_\{i\})logp(x\_\{i\})][large H_X_-_sum_i p_x_i_logp_x_i]

# 相对熵 #

【[百度百科][Link 1]】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个[概率分布][Link 2]（probability distribution）间差异的非对称性度量 。在在[信息理论][Link 3]中，相对熵等价于两个概率分布的[信息熵][Link 4]（Shannon entropy）的差值。

### 计算公式 ###

设![p(x),q(x)][p_x_q_x]是随机变量![X][]上的两个概率分布，则在离散与连续随机变量的情形下，相对熵的定义分别为：

![KL(p||q) = \\sum p(x)log \\frac\{p(x)\}\{q(x)\}][KL_p_q_ _ _sum p_x_log _frac_p_x_q_x]

![KL(p||q) = \\int p(x)log \\frac \{p(x)\}\{q(x)\}][KL_p_q_ _ _int p_x_log _frac _p_x_q_x]

**值得注意的是，KL散度可以理解为距离，但不是真的距离，即p对q的相对熵与q对p的相对熵不相等。即：**

**![KL(p||q) \\neq KL(q||p)][KL_p_q_ _neq KL_q_p]**

# 互信息 #

【[百度百科][Link 5]】互信息(Mutual Information)是[信息论][Link 6]里一种有用的信息度量，它可以看成是一个[随机][Link 7]变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

### 计算公式 ###

设两个随机变量 ![(X,Y)][X_Y]的联合分布为![p(x,y)][p_x_y]，边缘分布分别为![p(x),p(y)][p_x_p_y]

互信息![I(X;Y)][I_X_Y]是联合分布![p(x,y)][p_x_y]与乘积分布![p(x)(y)][p_x_y 1]的相对熵，即公式为：

![I(X;Y)=\\sum\_x\\sum\_y p(x,y) log \\frac\{p(x,y)\}\{p(x)p(y)\}][I_X_Y_sum_x_sum_y p_x_y_ log _frac_p_x_y_p_x_p_y]

# 归一化互信息(NMI) #

顾名思义，将互信息放在\[0,1\]之间，容易评价算法的好坏。比较常见的归一化方法：

### 计算公式 ###

![NMI(X;Y) = 2\\frac \{I(X;Y)\}\{H(X)+H(Y)\}][NMI_X_Y_ _ 2_frac _I_X_Y_H_X_H_Y]

[large H_X_-_sum_i p_x_i_logp_x_i]: https://private.codecogs.com/gif.latex?%5Clarge%20H%28X%29%3D-%5Csum_i%20p%28x_%7Bi%7D%29logp%28x_%7Bi%7D%29
[Link 1]: https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fr=aladdin
[Link 2]: https://baike.baidu.com/item/%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%83/828907
[Link 3]: https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%90%86%E8%AE%BA/2424000
[Link 4]: https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E7%86%B5/7302318
[p_x_q_x]: https://private.codecogs.com/gif.latex?p%28x%29%2Cq%28x%29
[X]: https://private.codecogs.com/gif.latex?X
[KL_p_q_ _ _sum p_x_log _frac_p_x_q_x]: https://private.codecogs.com/gif.latex?KL%28p%7C%7Cq%29%20%3D%20%5Csum%20p%28x%29log%20%5Cfrac%7Bp%28x%29%7D%7Bq%28x%29%7D
[KL_p_q_ _ _int p_x_log _frac _p_x_q_x]: https://private.codecogs.com/gif.latex?KL%28p%7C%7Cq%29%20%3D%20%5Cint%20p%28x%29log%20%5Cfrac%20%7Bp%28x%29%7D%7Bq%28x%29%7D
[KL_p_q_ _neq KL_q_p]: https://private.codecogs.com/gif.latex?KL%28p%7C%7Cq%29%20%5Cneq%20KL%28q%7C%7Cp%29
[Link 5]: https://baike.baidu.com/item/%E4%BA%92%E4%BF%A1%E6%81%AF/7423853?fr=aladdin
[Link 6]: https://baike.baidu.com/item/%E4%BF%A1%E6%81%AF%E8%AE%BA/302185
[Link 7]: https://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA
[X_Y]: https://private.codecogs.com/gif.latex?%28X%2CY%29
[p_x_y]: https://private.codecogs.com/gif.latex?p%28x%2Cy%29
[p_x_p_y]: https://private.codecogs.com/gif.latex?p%28x%29%2Cp%28y%29
[I_X_Y]: https://private.codecogs.com/gif.latex?I%28X%3BY%29
[p_x_y 1]: https://private.codecogs.com/gif.latex?p%28x%29%28y%29
[I_X_Y_sum_x_sum_y p_x_y_ log _frac_p_x_y_p_x_p_y]: https://private.codecogs.com/gif.latex?I%28X%3BY%29%3D%5Csum_x%5Csum_y%20p%28x%2Cy%29%20log%20%5Cfrac%7Bp%28x%2Cy%29%7D%7Bp%28x%29p%28y%29%7D
[NMI_X_Y_ _ 2_frac _I_X_Y_H_X_H_Y]: https://private.codecogs.com/gif.latex?NMI%28X%3BY%29%20%3D%202%5Cfrac%20%7BI%28X%3BY%29%7D%7BH%28X%29&plus;H%28Y%29%7D