多任务学习——【ICLR 2020】PCGrad

￡神魔★判官ぃ 2022-08-29 09:57 109阅读 0赞

论文：https://arxiv.org/pdf/2001.06782.pdf

在多任务学习中，由于不同任务梯度之间的更新方向不同，**两个梯度在方向上存在冲突，从而导致一个不同任务之间的更新梯度存在冲突**。

作者提出了PCGrad （projecting conflicting gradients），即将**任务的梯度投影到具有冲突梯度的任何其他任务的梯度的法线平面上**。 在一系列具有挑战性的多任务监督和多任务 RL 问题上，这种方法在效率和性能方面取得了实质性的进展。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]  
算法思想也比较简单：

*  首先，计算任务i梯度和随机一个其他任务j梯度之间的余弦相似度，如果为负值表示是相互冲突的梯度，如上图（a）
 *  如果余弦相似度为负值，则通过下式计算任务i梯度在任务j梯度的法线平面上的投影（如上图（b））： ![在这里插入图片描述][8d09eb9dc86044ed986a1649e0abef67.png]
 *  如果梯度没有冲突，即余弦相似度为非负，则直接使用原始梯度即可，如上图d。
 *  选择另外一个任务，作为任务i，重复上述流程，直到所有任务的梯度都修正过一遍。
 *  将各任务修正后的梯度相加，得到最终的梯度。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]  
    这边我们来推导一下法平面的投影是如何计算的：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]

如上图， 我们设要求的投影向量（蓝色虚线）为 x x x。绿色的向量和 g j g\_j gj同向，我们可以视它为 a g j ag\_j agj。那么就有：  
 x = g i + a g j x = g\_i+ag\_j x=gi\+agj  
 x g j = ( g i + a g j ) g j = g i g j + a ∣ ∣ g j ∣ ∣ 2 = 0 xg\_j = (g\_i+ag\_j)g\_j = g\_ig\_j+a||g\_j||^2=0 xgj=(gi\+agj)gj=gigj\+a∣∣gj∣∣2=0  
即 a = − g i g j / ∣ ∣ g j ∣ ∣ a = -g\_ig\_j/||g\_j|| a=−gigj/∣∣gj∣∣  
即 x = g i − ( g i g j / ∣ ∣ g j ∣ ∣ 2 ) g j x = g\_i-(g\_ig\_j/||g\_j||^2)g\_j x=gi−(gigj/∣∣gj∣∣2)gj

最后来看看效果吧~如下图所示，图b是任务1的目标的等高线图，图c是任务2的目标等高线图。图C是使用Adam优化目标梯度更新轨迹，可以看到当下时刻两个任务梯度方向是存在冲突的。而图e使用Adam+PCGrad，可以看到目标梯度更新轨迹穿越等高线就非常顺滑了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 3]  
具体实验结果如下图，紫色为作者的结果。可以看到最终效果非常好，而且收敛很快：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20220829/a069144d21c242ba83475c977818ca01.png
[8d09eb9dc86044ed986a1649e0abef67.png]: /images/20220829/f130bed140de47a3bac4ba23ef224901.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20220829/9970400580bc4d2793758fa9b2f6bc8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20220829/ae55d275295d4ac1bc6cb001d1cbb6bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 3]: /images/20220829/1a9bea3a1e0b4a3ea36288ab94843872.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 4]: /images/20220829/96f2c9f6159b4c359bc518e4daabffe6.png