预训练句子表征——【EMNLP 2019】Sentence-BERT

灰太狼 2022-09-11 10:18 306阅读 0赞

# 1. 介绍 #

在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NLP任务上取得了不错的性能，但其自身导出的句向量（【CLS】输出的向量、对所有输出字词token向量求平均）质量较低。由于BERT输出token向量预训练中，后面接的的分类的任务。所以其实输出token向量并不适合作为生成句子表示。美团一篇论文中提到，发现以这种方式编码，句子都倾向于编码到一个较小的空间区域内，这使得大多数的句子对都具有较高的相似度分数，即使是那些语义上完全无关的句子对，并将此称为BERT句子表示的“坍缩（Collapse）”现象：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]  
如何更好的利用BERT来做文本语义匹等任务呢？Sentence-BERT作者提出了以下方案：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]  
简单来说，就利用孪生网络，输出句子A和B，再将输出的token向量Pooling成两个向量（Pooling 方式可以是mean、max或者取【CLS】，实验mean的效果最好），进行有监督的向量相似度训练。  
相似度训练目标函数一共有三种：

1.  分类目标函数：  
    ![在这里插入图片描述][34eefdc8592743efa4527dcd270c7919.png_pic_center]
2.  回归目标函数  
    如图2的方式计算向量cos相似度，使用平均差损失训练模型。
3.  三重目标函数  
    ![在这里插入图片描述][4c8b412ae41a40a09f14868565a8c6c1.png_pic_center]

# 2. 实验效果 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

# 3.实现 #

sentence\_transformers已经把Sentence-BERT已经封装成pip包，可以轻松进行Sentence-BERT训练：

from sentence_transformers import SentenceTransformer, models
    #这里可以加载 Hugging Face 预训练模型，或者本地预训练模型
    word_embedding_model = models.Transformer('bert-base-uncased', max_seq_length=256)
    pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension())
    model = SentenceTransformer(modules=[word_embedding_model, pooling_model])
    
    #训练样本
    train_examples = [InputExample(texts=['My first sentence', 'My second sentence'], label=0.8),
        InputExample(texts=['Another pair', 'Unrelated sentence'], label=0.3)]
    train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16)
    
    #定义损失函数
    train_loss = losses.CosineSimilarityLoss(model)
    
    #验证集
    sentences1 = ['This list contains the first column', 'With your sentences', 'You want your model to evaluate on']
    sentences2 = ['Sentences contains the other column', 'The evaluator matches sentences1[i] with sentences2[i]', 'Compute the cosine similarity and compares it to scores[i]']
    scores = [0.3, 0.6, 0.2]
    evaluator = evaluation.EmbeddingSimilarityEvaluator(sentences1, sentences2, scores)
    
    #调整模型
    model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=1, warmup_steps=100, evaluator=evaluator, evaluation_steps=500)

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/b2a8933cb69047b09e8ad8bf7900a8db.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/0700697ac7b241e28e8603ff3c3a3ba9.png
[34eefdc8592743efa4527dcd270c7919.png_pic_center]: /images/20220828/f6e68427ac2d49778fa6dc6a31fa1994.png
[4c8b412ae41a40a09f14868565a8c6c1.png_pic_center]: /images/20220828/675b6712d4f54c8a9636debc9c10c54a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y2T5a-_5p2wU291bEpveQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/67e28411293d47ac8d0dcdecfa37e57c.png