Keras 添加自定义Losses

快来打我* 2023-01-05 03:55 219阅读 0赞

# 前言 #

有时候，我们需要往模型里面添加一些自定义的loss。  
这些自定义的loss主要分为两大类：

1.  loss是基于样本的正确标签  y r e a l y\_\{real\} yreal 和预测的logit  y p r e d y\_\{pred\} ypred 计算得到。这种loss主要集中在对分类损失的改进上，例如Focal Loss等。
2.  loss需要模型的中间层信息参与运算。这种loss常见的就是对权重的正则化项，高级一点还有对抗机器学习里面的FGSM的对抗学习正则化项。

其中，第一类loss可以通过自定义loss函数，或者loss类，然后在模型compile的时候指定损失就可以了。  
第二类loss则不能通过模型compile（）函数来指定，而需要调用`add_loss()` 函数来指定。

第一类loss必须能够通过 y r e a l y\_\{real\} yreal 和  y p r e d y\_\{pred\} ypred，以及某些额外的**超参数** 得到计算得到。  
这种函数的输入是两个参数 y r e a l y\_\{real\} yreal 和  y p r e d y\_\{pred\} ypred， 输出是一个tensor，tensor的必须得是对每个样本都输出一个值。  
定义好之后，在model的compile里面指定就是了。

例如：

alpha1=0.2
    alpha2=0.5
    def custom_loss_function(y_true, y_pred):
       squared_difference = tf.square(y_true - y_pred)
       ##如果计算过程需要用上超参数，则先在全局作用域定义超参数，然后在函数里面直接使用这些超参数。
       return tf.reduce_mean(squared_difference, axis=-1)
    
    model.compile(optimizer='adam', loss=custom_loss_function)

再比如 Focal Loss的定义：  
![在这里插入图片描述][20210111155340455.png]  
其中 γ \\gamma γ 是一个超参数，用于调和loss，我们可以在实现的时候把它定义为一个全局的参数，然后再函数里面使用它就可以了。

第二类loss则是需要神经网络本身参与计算，例如L2正则化啥的。  
这类loss的定义，一般是在网络搭建的后面，因为这些loss的计算能够方便的访问到中间层的输出或权重。

这种loss没有像第一类loss一样有输入输出的约定，loss一般就是用某个函数封装的任意计算图。  
定义好loss之后，把调用模型的`add_loss` 函数把这部分计算图加到模型即可。

compile里面指定的loss和add\_loss指定的loss的关系：  
在keras的model.compile函数源码中可以看到如下的代码：

with K.name_scope('loss'):
                for i in range(len(self.outputs)):
                    if i in skip_target_indices:
                        continue
                    y_true = self.targets[i]
                    y_pred = self.outputs[i]
                    weighted_loss = weighted_losses[i]
                    sample_weight = sample_weights[i]
                    mask = masks[i]
                    loss_weight = loss_weights_list[i]
                    with K.name_scope(self.output_names[i] + '_loss'):
                        output_loss = weighted_loss(y_true, y_pred,
                                                    sample_weight, mask)
                    if len(self.outputs) > 1:
                        self.metrics_tensors.append(output_loss)
                        self.metrics_names.append(self.output_names[i] + '_loss')
                    if total_loss is None:
                        total_loss = loss_weight * output_loss
                    else:
                        total_loss += loss_weight * output_loss
                if total_loss is None:
                    if not self.losses:
                        raise ValueError('The model cannot be compiled '
                                         'because it has no loss to optimize.')
                    else:
                        total_loss = 0.
    
                # Add regularization penalties
                # and other layer-specific losses.
                for loss_tensor in self.losses:
                    total_loss += loss_tensor

前面是计算compile里面指定的loss，然后再把`self.losses` 里面损失加起来。  
而`self.losses` 就是模型（包括它使用到所有层）通过`add_loss` 函数添加的损失。

[20210111155340455.png]: /images/20221119/637c4f9d4c8047568b217228ddef5cc1.png