文本分类label embedding之MTLE

谁借莪１个温暖的怀抱￠ 2021-09-25 07:50 488阅读 0赞

![图片][40d3eddfbd936f79081f5898c551b671.png]

**一、前沿**

传统文本分类的多任务学习是显示的抽取相关任务之间的共同特征，从而可以提升每个分类任务的性能。这些学习方式通常会有如下缺点：

1）每个任务的label都是相互独立的使用类似one-hot形似表示的，比如使用\[1,0\]和\[0,1\]分别表示正负样本的label；

2）多任务的神经网络架构通常是固定的，一些网络是pair-wise的交互，加入新任务的时候往往需要重新训练整个网络；

3）人类可以通过学习少数几个相关任务就可以学习一个新的任务，这也叫做迁移学习，传统的多任务学习网络架构是固定的，没有专门的layer是为新任务而设计的，所以迁移能力不足。

且看本文提出的Multi-Task Label Embedding (MTLE)，是如何解决这些问题的，了解文本分类或者监督学习的朋友比较清楚交叉熵损失函数了，我整理列出单任务和多任务的损失函数形式对比：

**单任务：**

![图片][f26a2763be2d8587861322fcb378615a.png]

**多任务：**

![图片][784936620866dfe2f131e1412592b7a5.png]

由此看出，差别在于多任务的损失函数仅仅是单个任务在多个任务上求和即可。

**二、MTLE模型通用架构**

![图片][20f4eee944a6523f4a138e42df992e65.png]

Figure1是MTLE的通用框架，主要是有Input Encoder, the Label Encoder and the Matcher三部分组成。其中Input Encoder, the Label Encoder分别是对输入数据和任务标签label的embedding操作，而Matcher是对这两部分的匹配，举个不恰当的例子，比如输入两句话，那么这两句话的相识度分数就是Matcher负责的事情，下面看一个具体的实现结构：

**三、MTLE模型的一个具体架构**

![图片][1864371e8b89ed90480d45cee985e376.png]

如上图Figure2所示，WI and WL表示word embedding矩阵，可以使用开放域训练好的词向量，比如使用word2vec训练好，然后在模型训练中进行fine-tune词向量，LI and LL是特征抽取器，目的是把输入文本表示为固定大小的向量，本文使用BiLSTM，如下公式所示：

![图片][5f626b314d1aa661946bc67bf3a7421f.png]

![图片][d5f696b83038ba8500fbb96c6097457b.png]

输入文本内容和分类标签label都经过BiLSTM进行编码，可以简化为如下形式：

![图片][f2434b548fd0570a7ef37209d441418b.png]

把这两个结果进行concatenate拼接起来，然后送给Matcher（也就是Figure2中的M，通过一个全连接和sigmoid激活函数连接到一个神经元），公式如下所示：

![图片][8445eec820a7841c6a9c6b669effdbbe.png]

模型的损失函数形式如下公式所示：

![图片][a63f0388bb8fad6fb880b73aea4dc9d0.png]

最终的形式是对多个任务进行加权求和，公式如下图所示：

![图片][cf0c37de07a6d0f56cb3843a51ab08d0.png]

**四、MTLE模型的应用与迁移学习**

![图片][71fb398a8e31b657cfc76c2dda9cbb71.png]

如Figure3所示，根据新加入任务的不同，MTLE的迁移学习分为三种方式：

1）Hot Update：加入新的分类任务时，使用新任务的数据进行fine-tune原来的模型；

2）Cold Update：加入新的分类任务时，所有的任务都需要重新训练；

3）Zero Update：加入的新分类任务，数据只有标签集合，没有对数据进行标注，直接基于之前的模型进行预测计算即可。

**五、MTLE模型的实验效果**

5.1、数据集

![图片][8b65285c702076eea7119be15661eda6.png]

Multi-Cardinality：SST-1,SST-2, IMDB

Multi-Domain：BDEK

Multi-Objective：IMDB,RN, QC

5.2、实验任务

A + B → C，A、B表示已经在多任务中训练好的任务，C表示新加入的任务

论文对下面三种case做了实验对比

• Case 1 SST-1 + SST-2 → IMDB.

• Case 2 B+D+E→K.  
• Case 3 RN+QC→IMDB.

实验效果如下Tabel 4所示：

![图片][522d790da67cf794305537f3ba4762c0.png]

[40d3eddfbd936f79081f5898c551b671.png]: /images/20210923/67ed4bfffdea4e07a564050ee2c19813.png
[f26a2763be2d8587861322fcb378615a.png]: /images/20210923/fcc22d6828e6403da9b0f102d60d018a.png
[784936620866dfe2f131e1412592b7a5.png]: /images/20210923/bd44f51030fb42ee847696dba4e99aa7.png
[20f4eee944a6523f4a138e42df992e65.png]: /images/20210923/b6d12fa4faf049c3a248a34ee9ad222e.png
[1864371e8b89ed90480d45cee985e376.png]: /images/20210923/f06278d911a64b64bd68272ec6f5a28b.png
[5f626b314d1aa661946bc67bf3a7421f.png]: /images/20210923/0408a79c2d254544b82adad57dddbef7.png
[d5f696b83038ba8500fbb96c6097457b.png]: /images/20210923/0b4895d201174fcd94a455b7e741134e.png
[f2434b548fd0570a7ef37209d441418b.png]: /images/20210923/da69ec18a10a4040bf85ad7540de5cb7.png
[8445eec820a7841c6a9c6b669effdbbe.png]: /images/20210923/6ddeb9aeacea40a38f467c009a8afb52.png
[a63f0388bb8fad6fb880b73aea4dc9d0.png]: /images/20210923/0e1f7a08f56c4606b7ba8f27492e14ad.png
[cf0c37de07a6d0f56cb3843a51ab08d0.png]: /images/20210923/128f060ffab045af8e8012140380996b.png
[71fb398a8e31b657cfc76c2dda9cbb71.png]: /images/20210923/6e15a2634b8a4884b0b049d2720aef63.png
[8b65285c702076eea7119be15661eda6.png]: /images/20210923/b475c59705d7428588d788f1bc033dd1.png
[522d790da67cf794305537f3ba4762c0.png]: /images/20210923/b77de148f57a4d87ad2420e365e94a0c.png