NLP系列 10. BERT

灰太狼 2022-01-25 14:56 220阅读 0赞

# Transformer的原理 #

BERT的算法来自谷歌的另一篇论文：[https://arxiv.org/abs/1706.03762][https_arxiv.org_abs_1706.03762] 。完全抛弃了RNN、CNN，而提出了另外一种新的网络结构：Transformer。Transformer现在是谷歌云TPU推荐的参考模型。  
Transformer由encoder和decoder组成，encoder、decoder分别由一些编码器和解码器构成。  
编码器又分为自注意层和前馈神经网络两部分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70]  
（来源见水印）

*  自注意层：从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每个单词编码时关注输入句子的其他单词。
 *  前馈神经网络：自注意力层的输出会传递到前馈（feed-forward）神经网络中。每个位置的单词对应的前馈神经网络都完全一样，另一种解读就是一层窗口为一个单词的一维卷积神经网络。  
    解码器中也有编码器的自注意力（self-attention）层和前馈（feed-forward）层。除此之外，这两个层之间还有一个注意力层，用来关注输入句子的相关部分（和seq2seq模型的注意力作用相似）。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 1]  
    参考：[https://zhuanlan.zhihu.com/p/54356280][https_zhuanlan.zhihu.com_p_54356280]  
    Transformer 的 encoder 是一次性读取整个文本序列，而不是从左到右或从右到左地按顺序读取，  
    这个特征使得模型能够基于单词的两侧学习，相当于是一个双向的功能。在下面的BERT中会得到应用。

# BERT的原理 #

谷歌发布的论文“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” （[https://arxiv.org/pdf/1810.04805.pdf][https_arxiv.org_pdf_1810.04805.pdf] ）中提出的BERT模型在 11 个 NLP 任务上的表现刷新了记录。  
BERT 可以用于问答系统，情感分析，垃圾邮件过滤，命名实体识别，文档聚类等任务中，作为这些任务的语言模型。  
代码地址：[https://github.com/google-research/bert][https_github.com_google-research_bert]  
BERT将双向的transformer用于语言模型。  
实验的结果表明，双向训练的语言模型对语境的理解会比单向的语言模型更深刻，论文中介绍了一种新技术叫做 Masked LM（MLM），在这个技术出现之前是无法进行双向语言模型训练的。  
BERT使用了以下两种技术：

1.  Masked LM (MLM)  
    在将单词序列输入给 BERT 之前，每个序列中有 15％ 的单词被 \[MASK\] token 替换。 然后模型尝试基于序列中其他未被 mask 的单词的上下文来预测被掩盖的原单词。  
    这样就需要：

*  在 encoder 的输出上添加一个分类层
 *  用嵌入矩阵乘以输出向量，将其转换为词汇的维度
 *  用 softmax 计算词汇表中每个单词的概率

1.  Next Sentence Prediction (NSP)  
    在 BERT 的训练过程中，模型接收成对的句子作为输入，并且预测其中第二个句子是否在原始文档中也是后续句子。  
    在训练期间，50％ 的输入对在原始文档中是前后关系，另外 50％ 中是从语料库中随机组成的，并且是与第一句断开的。  
    为了帮助模型区分开训练中的两个句子，输入在进入模型之前要按以下方式进行处理：

*  在第一个句子的开头插入 \[CLS\] 标记，在每个句子的末尾插入 \[SEP\] 标记。
 *  将表示句子 A 或句子 B 的一个句子 embedding 添加到每个 token 上。
 *  给每个 token 添加一个位置 embedding，来表示它在序列中的位置。

为了预测第二个句子是否是第一个句子的后续句子，用下面几个步骤来预测：

*  整个输入序列输入给 Transformer 模型
 *  用一个简单的分类层将 \[CLS\] 标记的输出变换为 2×1 形状的向量
 *  用 softmax 计算 IsNextSequence 的概率

在训练 BERT 模型时，Masked LM 和 Next Sentence Prediction 是一起训练的，目标就是要最小化两种策略的组合损失函数。  
BERT 的损失函数只考虑了 mask 的预测值，忽略了没有掩蔽的字的预测。这样的话，模型要比单向模型收敛得慢，不过结果的情境意识增加了。  
参考：[https://www.jianshu.com/p/d110d0c13063][https_www.jianshu.com_p_d110d0c13063]

# 利用预训练的BERT模型进行文本分类 #

参考：  
[https://blog.csdn.net/qq\_20989105/article/details/89492442][https_blog.csdn.net_qq_20989105_article_details_89492442]  
[https://www.jiqizhixin.com/articles/2019-03-13-4][https_www.jiqizhixin.com_articles_2019-03-13-4]

[https_arxiv.org_abs_1706.03762]: https://arxiv.org/abs/1706.03762
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70]: /images/20220125/8236f497cad34a5cbef1082ae4dea55d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZXJwYWh1_size_16_color_FFFFFF_t_70 1]: /images/20220125/6c6d3a8bdab642a6bf47c1b57c058123.png
[https_zhuanlan.zhihu.com_p_54356280]: https://zhuanlan.zhihu.com/p/54356280
[https_arxiv.org_pdf_1810.04805.pdf]: https://arxiv.org/pdf/1810.04805.pdf
[https_github.com_google-research_bert]: https://github.com/google-research/bert
[https_www.jianshu.com_p_d110d0c13063]: https://www.jianshu.com/p/d110d0c13063
[https_blog.csdn.net_qq_20989105_article_details_89492442]: https://blog.csdn.net/qq_20989105/article/details/89492442
[https_www.jiqizhixin.com_articles_2019-03-13-4]: https://www.jiqizhixin.com/articles/2019-03-13-4