预训练句子表征——【EMNLP 2021】TSDAE

素颜马尾好姑娘i 2022-09-11 11:30 140阅读 0赞

# 1. 介绍 #

TSDAE（Transformer-based Sequential Denoising Auto-Encoder）模型使用纯句子作为训练数据来无监督训练句子向量。在训练期间，TSDAE 将加了噪声的句子编码为固定大小的向量，并要求decoder从这个句子表征中重建原始句子。为了获得良好的重建质量，必须在encoder的句子向量中很好地捕获语义。在后续推理时，我们只使用encoder来创建句子向量。架构如下图所示：  
![在这里插入图片描述][3b9b386984d546adaf3221fb4c2d7956.png_pic_center]

encoder部分就是将带噪音的文本进行编码。控制变量实验发现，以“删除词语”的方式加入噪音、噪音比率在0.6效果的最好的：  
![在这里插入图片描述][94b68dbb36f54540b55e5a0b575e0c31.png]  
![在这里插入图片描述][45909295a35d4cc5b978fdf588ca01f2.png]  
然后将encoder的输出进行pooling，控制变量实验发现，以mean的方式pooling效果最好：  
![在这里插入图片描述][ae7ea15d385a4c9f9798b1a003351fd4.png]  
接下来我们主要关注下decoder部分。decoder使用的是 cross-attention：  
![在这里插入图片描述][1da39f9f2e1d4b5caf5f1cf6518c9a05.png]  
其中s是encoder输出pooling后的句子表征， H k H^k Hk的decoder第k层的隐层。

目标函数：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_13_color_FFFFFF_t_70_g_se_x_16]  
其中 l 是原文本x的token数，N的词表大小

# 2. 实验效果 #

对比来看，大部分任务，TSDAE效果会优于我们之前介绍的[CT][]和[SimCSE][]的：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16]

# 3. 实现 #

sentence\_transformers已经把TSDAE已经封装成pip包，完整的训练流程例子可以参考[《Sentence-BERT》][Sentence-BERT]。我们在此基础上只用修改dataset和loss就能轻松的训练TSDAE：

# 创建可即时添加噪声的特殊去噪数据集
    train_dataset = datasets.DenoisingAutoEncoderDataset(train_sentences)
    
    # DataLoader 批量处理数据
    train_dataloader = DataLoader(train_dataset, batch_size=8, shuffle=True)
    
    # 使用去噪自动编码器损失
    train_loss = losses.DenoisingAutoEncoderLoss(model, decoder_name_or_path=model_name, tie_encoder_decoder=True)
    
    # 模型训练
    model.fit(
        train_objectives=[(train_dataloader, train_loss)],
        epochs=1,
        weight_decay=0,
        scheduler='constantlr',
        optimizer_params={
        'lr': 3e-5},
        show_progress_bar=True
    )

[3b9b386984d546adaf3221fb4c2d7956.png_pic_center]: /images/20220828/46a22577c9b343f0a1e3738e50e25cba.png
[94b68dbb36f54540b55e5a0b575e0c31.png]: /images/20220828/78cbabcaff3a40baa738b35c943ab53b.png
[45909295a35d4cc5b978fdf588ca01f2.png]: /images/20220828/88fbd28f78544cfa9387246005202d7f.png
[ae7ea15d385a4c9f9798b1a003351fd4.png]: /images/20220828/48a4b3979292437fa1fafc91a723c32d.png
[1da39f9f2e1d4b5caf5f1cf6518c9a05.png]: /images/20220828/656c3d9306eb4d37874b87573a4b7a6c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d7b477d1d97b46a9a366e6db5cd136cc.png
[CT]: https://blog.csdn.net/u011239443/article/details/120315672
[SimCSE]: https://blog.csdn.net/u011239443/article/details/120322145
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ad7c5b13a7e64ef0acb84bb6f587f6fd.png
[Sentence-BERT]: https://blog.csdn.net/u011239443/article/details/120315335