信息熵、相对熵、交叉熵公式及tensorflow代码

刺骨的言语ヽ痛彻心扉 2022-05-16 09:38 322阅读 0赞

最近在学习卷积神经网络，其中遇到了信息熵和交叉熵，对此理解的一知半解，现记录一下信息熵、相对熵、交叉熵公式及tensorflow代码，供以后参考。

假设概率分布中，真实分布：![p(x)][p_x]  假设分布：![q(x)][q_x]

*  信息量公式：

![70][]

*  信息熵公式：

![70 1][]

*  相对熵公式：

![70 2][]

*  交叉熵公式：

![70 3][]

借助于tensorflow框架，根据以上几个公式进行试验：

#coding:utf-8
    """
        Created by cheng star at 2018/8/19 12:04
        @email : xxcheng0708@163.com
    """
    
    import tensorflow as tf
    
    # 真实分布概率
    p = [i/10 for i in range(1 , 10)]
    # 假设分布概率
    q = [1 - prob for prob in p]
    print(p)
    print(q)
    
    # x = tf.constant(value=p , dtype=tf.float32)
    
    with tf.Session() as sess :
        sess.run(tf.global_variables_initializer())
    
        # 信息量
        case_1 = -tf.log(p)
        print(sess.run(case_1))
    
        # 信息熵
        case_2 = -tf.reduce_sum(p * tf.log(p))
        print(sess.run(case_2))
    
        # 相对熵
        case_3 = tf.reduce_sum(p * tf.log(p) - p * tf.log(q))
        print(sess.run(case_3))
    
        # 交叉熵
        case_4 = -tf.reduce_sum(p * tf.log(q))
        print(sess.run(case_4))

代码输入、输出结果如下：

输入：

p = \[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9\]  
q = \[0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.30000000000000004, 0.19999999999999996, 0.09999999999999998\]

输出：

信息量：\[ 2.30258512  1.60943794  1.20397282  0.9162907   0.69314718  0.51082557  0.35667497  0.22314353  0.10536055\]

信息熵：2.45594

相对熵：3.00957

交叉熵：5.4655

[p_x]: https://private.codecogs.com/gif.latex?p%28x%29
[q_x]: https://private.codecogs.com/gif.latex?q%28x%29
[70]: /images/20220516/c23668fbb8f74f059ec897b4c948e61f.png
[70 1]: /images/20220516/c9504d6d240f4d2782a6fc61993b53a3.png
[70 2]: /images/20220516/6525e7590180436eb3a1f13af6afc061.png
[70 3]: /images/20220516/92c49408016e41829ecd4ce20bbcde1f.png