CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)

素颜马尾好姑娘i 2023-07-02 07:26 7阅读 0赞

# ![20191009191333910.png][] #

# [日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

[tensorflow 2.0 画出model网络模型的拓扑图][tensorflow 2.0 _model]

[tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）][tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]

[TensorBoard视觉化网络每层权重分布、视觉化网络层结构][TensorBoard]

[MSE(均方误差)、MAE(平均绝对误差)][MSE_MAE]

[from\_logits][from_logits]

[CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)][CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]

[对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理][one-hot]

[损失函数loss、指标函数metrics][loss_metrics]

[激活函数 Sigmoid、Tanh、ReLU、Softmax][Sigmoid_Tanh_ReLU_Softmax]

[Batch Normalization][]

[反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）][optimizers_GD_SGD_Momentum_AdaGrad_Adam]

[权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化][0.01_1_Xavier_Glorot_He]

[图像增强(IA)、数据预处理][IA]

[混淆矩阵tf.math.confusion\_matrix][tf.math.confusion_matrix]

[使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub][Keras Applications_TensorFlow Hub]

--------------------

CE(Cross-Entropy)、BCE(Binary Cross-Entropy 实际即Sigmoid激活+CE)、CCE(Categorical Cross-Entropy 实际即Softmax激活+CE)
    CE手动实现：tf.reduce_mean(-tf.reduce_sum(y_true * tf.log(y_pred), reduction_indices=[1]))
    
    1.逻辑回归Logistic Regression指的是分类问题，并非是指回归问题，而回归问题是预测一个连续的数值。
      回归问题一般使用MSE作为损失函数，二分类的分类问题一般使用BCE(Binary Cross-Entropy)作为损失函数，
      多分类的分类问题一般使用CCE(Categorical Cross-Entropy)作为损失函数，BCE和CCE两者的公式上有些不同，但本质都是一样，都可以使用CE作为统称。
      分类问题中的模型预测输出一般都会首先经过Sigmoid或Softmax激活函数。
    2.tensorflow中经常看到logits，指的就是Logistic（注意逻辑回归Logistic Regression指的是分类问题，并非是指回归问题，而回归问题是预测一个连续的数值）。
      而from_logits指的就是是否有经过Logistic函数，常见的Logistic函数包括Sigmoid、Softmax函数。
    3.常见的激活函数包括Sigmoid、Tanh、ReLU、Softmax。
      ReLU 一般可用在每个隐藏层或输出层的后面作为非线性输出。
      Sigmoid和Tanh如果作为神经网络中的隐藏层的激活函数的话，都有可能造成梯度消失的问题，所以隐藏层的激活函数一般推荐使用ReLU，不推荐使用Sigmoid和Tanh。
      Sigmoid一般只用在输出层中，而不能用在隐藏层中，因为网络层数太深时使用Sigmoid作为隐藏层的非线性输出的话容易导致梯度消失，使得网络难以更新，
      而ReLU 则能有效避免梯度消失问题，Softmax也一般用在输出层中。
      比如二分类的逻辑回归模型中的输出层末尾一般都加上Sigmoid，那么输出值将介于0到1之间，分别代表两个不同分类。
      比如多分类的逻辑回归模型中的输出层末尾一般都加上Softmax，那么全部输出值的总和将等于1，代表了所有不同分类的概率值的总和等于1。
      下面举例在反向传播中经过多个隐藏层的Sigmoid，首先因为Sigmoid的导函数最大值为f(0)=0.25，也就是说当反向传播中每经过一层隐藏层的Sigmoid时，
      其梯度值都要乘上0.25，代表每经过一次其梯度值就要被衰减0.25倍，如果反向传播中需要经过五层隐藏层的Sigmoid的话，那么其梯度值一共至少会被衰减0.25的5次方的倍数。
      那么将造成神经网络前面的几层的权重将很难被更新，同理Tanh也存在类似的状况，因此大多数的隐藏层的激活函数都使用ReLU，
      另外ReLU的计算速度也比Sigmoid和Tanh还要快上许多。

1.BCE(Binary Cross-Entropy 实际即Sigmoid激活+CE) 既可作为损失函数loss，也均可作为指标函数
    	先导入 from tensorflow import keras	
    	损失函数loss：
    		keras.losses.BinaryCrossentropy()
    	指标函数metrics：
    		keras.metrics.BinaryAccuracy()
    	例子：
    		model.compile(keras.optimizers.Adam(0.001), 
    			     loss=keras.losses.BinaryCrossentropy(), 
    			     metrics=[keras.metrics.BinaryAccuracy()])
     
    2.CCE(Categorical Cross-Entropy 实际即Softmax激活+CE) 既可作为损失函数loss，也均可作为指标函数
    	先导入 from tensorflow import keras	
    	损失函数loss：
    		keras.losses.CategoricalCrossentropy()
    	指标函数metrics：
    		keras.metrics.CategoricalAccuracy()
    	例子：
    		model.compile(keras.optimizers.Adam(0.001), 
    			     loss=keras.losses.CategoricalCrossentropy(), 
    			     metrics=[keras.metrics.CategoricalAccuracy()])

1.BCE(Binary Cross-Entropy 实际即Sigmoid激活+CE)
    	1.import tensorflow as tf
    	  help(tf.losses.binary_crossentropy) 
    	  打印信息如下 binary_crossentropy(y_true, y_pred, from_logits=False, label_smoothing=0)
     
    	2.from tensorflow import keras
    	  help(keras.losses.BinaryCrossentropy()) 
    	  打印信息如下 class BinaryCrossentropy(LossFunctionWrapper)
    			BinaryCrossentropy(from_logits=False, label_smoothing=0, reduction='auto', name='binary_crossentropy')
     
    2.CCE(Categorical Cross-Entropy 实际即Softmax激活+CE) 
    	1.import tensorflow as tf
    	help(tf.losses.categorical_crossentropy) 
    	打印信息如下 categorical_crossentropy(y_true, y_pred, from_logits=False, label_smoothing=0)
    
    	2.from tensorflow import keras
    	  help(keras.losses.CategoricalCrossentropy()) 
    	  打印信息如下 class CategoricalCrossentropy(LossFunctionWrapper)
    			CategoricalCrossentropy(from_logits=False, label_smoothing=0, reduction='auto', name='categorical_crossentropy')
    
    3.不论是BCE(Binary Cross-Entropy)还是CCE(Categorical Cross-Entropy)，其中的from_logits参数都默认为False。
    	from_logits=False：BCE(Binary Cross-Entropy)损失函数不会内建Sigmoid激活函数运算，CCE(Categorical Cross-Entropy)损失函数不会内建Softmax激活函数运算。
    	from_logits=True：BCE(Binary Cross-Entropy)损失函数内建了Sigmoid激活函数运算，CCE(Categorical Cross-Entropy)损失函数内建了Softmax激活函数运算。
      	如果使用默认的from_logits=False，则网络输出层需要加上Sigmoid/Softmax激活函数运算。
    	如果使用 from_logits=True，则网络输出层无需加上Sigmoid/Softmax激活函数运算，因为要避免输出连续做两次Sigmoid/Softmax激活函数运算。
    
    4.例子：网络输出层没有使用Sigmoid激活函数，便可以设置from_logits=True，在BCE(BinaryCrossentropy)中自动内建Sigmoid激活函数
    		model.compile(keras.optimizers.Adam(0.001), 
    			     loss=keras.losses.BinaryCrossentropy(from_logits=True), 
    			     metrics=[keras.metrics.BinaryAccuracy()])
    
    5.例子：网络输出层没有使用Softmax激活函数，便可以设置from_logits=True，在CCE(CategoricalCrossentropy)中自动内建Softmax激活函数
    		model.compile(keras.optimizers.Adam(0.001), 
    			     loss=keras.losses.CategoricalCrossentropy(from_logits=True), 
    			     metrics=[keras.metrics.CategoricalAccuracy()])

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5][]

输入分别为3、1、-3，那么计算exp(3) 即e的3次方、exp(1) 即e的1次方、exp(-3) 即e的-3次方，
    分别得出20.085536923187668、2.718281828459045、0.049787068367863944，
    将计算得出的3个值的总和为22.853605820014575，
    那么然后分别计算20.085536923187668/22.853605820014575=0.878878242732151，
    2.718281828459045/22.853605820014575=0.11894323591065209，
    0.049787068367863944/22.853605820014575=0.0021785213571970234，
    即可以得出上图中的结论：3、1、-3 通过Softmax运算得出 0.88、012、0。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7][]

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 13][]

[20191009191333910.png]: https://img-blog.csdnimg.cn/20191009191333910.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[tensorflow 2.0 _model]: https://azusa.blog.csdn.net/article/details/104092884
[tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]: https://azusa.blog.csdn.net/article/details/104100362
[TensorBoard]: https://azusa.blog.csdn.net/article/details/104132982
[MSE_MAE]: https://azusa.blog.csdn.net/article/details/104094483
[from_logits]: https://azusa.blog.csdn.net/article/details/104095436
[CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]: https://azusa.blog.csdn.net/article/details/104095759
[one-hot]: https://azusa.blog.csdn.net/article/details/104099669
[loss_metrics]: https://azusa.blog.csdn.net/article/details/104099800
[Sigmoid_Tanh_ReLU_Softmax]: https://azusa.blog.csdn.net/article/details/104108314
[Batch Normalization]: https://azusa.blog.csdn.net/article/details/104115714
[optimizers_GD_SGD_Momentum_AdaGrad_Adam]: https://azusa.blog.csdn.net/article/details/104106429
[0.01_1_Xavier_Glorot_He]: https://azusa.blog.csdn.net/article/details/104110857
[IA]: https://azusa.blog.csdn.net/article/details/104114416
[tf.math.confusion_matrix]: https://azusa.blog.csdn.net/article/details/104125078
[Keras Applications_TensorFlow Hub]: https://azusa.blog.csdn.net/article/details/104134536
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020013016453567.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200127212745758.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200127212749590.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200127212753368.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200128223324989.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200127212757521.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200127212758154.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200127212756593.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020013017054240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200130170551933.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200130170604375.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/2020013017060981.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200130170610567.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/2020013017061551.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70