条件自信息跟互信息区别简述

忘是亡心i 2022-05-21 02:57 190阅读 0赞

## 简述 ##

（PS部分，可以是拓展部分，可不看）  
**条件自信息：** 条件自信息，本质上还是自信息。定义上，明确指出，是在已知事件 y = b j y = b\_j y=bj发生的条件下， x = a i x = a\_i x=ai的自信息。

**互信息：** 互信息的话，并没有想象中的那么独立。其实，在互信息的定义中，就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式，不难直接推出一个跟自信息相关的公式。  
 I ( X ; Y ) = I ( X ) − I ( X ∣ Y ) I(X;Y) = I(X) - I (X | Y) I(X;Y)=I(X)−I(X∣Y)  
就这么简单，可以看出，互信息，本身从定义上，就只是自信跟条件自信息的附属。  
**数学表达式的意思是：** 事件 X, Y之间的互信息就是，指事件X的自信息跟事件Y已知的条件下，事件X的自信息之间的差值。

不难看出，这是在对于 **Y事件的发生对于X事件这件事上的自信息的影响** 的考量。  
**而这种关系是互易性的** （这个通过对上面式子的变形很简单推出来）。  
这种互易性，也是符合逻辑的。**这说明，一个事情的发送对另外一件事的所包含的信息量的影响，反过来也是成立的**。  
（PS：而这种一致性跟贝叶斯概率模型在截然不同的。当然啦，因为底层的逻辑是不一致的。因为贝叶斯本质上的信息任然还是一种条件自信息。条件自信息的区别可以不同，但是由于本身的信息的不一致，又给补全回来了。**这个补全回来的意思，用到了这里的互易性，加上贝叶斯模型上广泛的不一致问题。**）

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th align="right">条件自信息</th> 
   <th align="right">互信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>互易性</td> 
   <td align="right">（不一定具有）p(x|y) 跟 p(y|x)不一定相等</td> 
   <td align="right">是</td> 
  </tr> 
  <tr> 
   <td>x,y独立时</td> 
   <td align="right">$I(X</td> 
   <td align="right">Y) = I(X)$</td> 
  </tr> 
  <tr> 
   <td>正负性</td> 
   <td align="right">不为负</td> 
   <td align="right">可正可负</td> 
  </tr> 
 </tbody> 
</table>