预训练模型：NLP语言模型发展
相关阅读
相关 NLP-预训练模型-2020
Transformer 是目前 NLP 研究领域中特别重要的模型，也衍生出了很多基于 Transformer 的方法，例如 BERT、GPT，在很多 NLP 任务中有很好的效果
水深无声相关 NLP-预训练模型-2018-Bert-解析：BertForMaskedLM
import numpy as np import torch import torch.nn as nn from transformers
相关 NLP-预训练模型-2018：Bert字典
-------------------- -------------------- -------------------- 参考资料： [我的BERT！改改字典，让
相关 NLP-预训练模型-2019：XLM-Roberta【一种多语言预训练模型】
[《原始论文：Unsupervised Cross-lingual Representation Learning at Scale》][Unsupervised Cross-
相关 NLP-预训练模型-2019：SpanBERT
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6Y
相关 NLP-预训练模型-2019-NLU+NLG：UniLM（自然语言理解与生成的统一预训练语言模型）
UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Gen
相关 预训练模型：NLP语言模型发展
![58fdc883f67b43479b9b98d45c956ef1.png][] ![ba1b831d58a7493dbd227f8fa644496e.png][] ![
相关 对话预训练_NLP中的预训练语言模型（一）—— ERNIE们和BERTwwm
![084fb69709f176b37300b681f0c41104.gif][] 随着bert在NLP各种任务上取得骄人的战绩，预训练模型在这不到一年的时间内得到了很大
不念不忘少年蓝@相关 NLP预训练模型综述
现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主
还没有评论，来说两句吧...