bert做文本摘要_BERT如何融合主题模型做文本匹配ACL2020

清疚 2023-01-01 15:53 233阅读 0赞

![99e262ad95dac9b685470afabe2a4d1d.png][]

今天分享一个论文ACL2020-tBERT\[1\]，论文主要融合主题模型和BERT去做语义相似度判定，在特定领域使用这个模型，效果更明显。

掌握以下几点：

1.  【CLS】向量拼接两个句子各自的主题模型，效果有提升
2.  尤其是在特定领域的数据集合会有更好的表现。

第二点这个特定领域发现还挺有意思的，感兴趣的可以在自己数据集做个试验扩展。

# 1. 架构图 #

先看架构图：

![cb5ec2e57e9b14d29af59bfb0278db55.png][] tbert架构图

模型架构比较简单，BERT这边使用的【CLS】输出向量：

主题模型使用两种，LDA和GSDMM，主要是因为LDA在长文本效果更好；GSDMM在短文本效果更好。

获取主题模型如下所示：

代表的是主题数量，N是的字数量，M是的字数量

进而我们可以得到单词的主题分布:

所以在最后和【CLS】连接的时候，可以使用文档主题和，也可以使用单词主题和。

# 2.实验效果 #

![dd64138599f67792049aace742a8d84d.png][] tBERT实验效果

看实验效果，LDA效果会比GSDMM更好一点。

其实有一个比较有意思的点是，BERT的建模能力已经足够强了，为啥加上主题模型还会有提升。

换句话说，**主题模型在基于BERT的方向上，能够在哪些方面提升**。

作者是这么做的实验，他选了和主题模型相关的三个属性：**实体，特定领域词和不规范拼写**。根据三个属性抽取样本，总共500个， 然后让BERT和tBERT做预测。

![2aeb8d05c761c4fbef1211cccbfd4ae0.png][] tBERT三个属性实验

看实验效果是这样的，发现在特定领域tBERT效果更明显一点。

作者认为在预训练的时候，可能是BERT碰到特定领域词汇的机会比较少，没有很好的学习到这些信息，所以主题模型很好的补充了这部分信息。

不过，感觉这个实验并不充分，一个属性这块挑选感觉有点不太充分，还有一个是样本数量感觉太少了，500个......

# 总结 #

说一下掌握的知识点：

1.  【CLS】向量拼接两个句子各自的主题模型，效果有提升
2.  尤其是在特定领域的数据集合会有更好的表现。

说一下我自己的思考，关于特定领域这块。一般来说，微调是可以解决这个问题的。

不过看作者的实验，即使是微调之后的BERT，在特定领域这块，效果也没有tBERT好，说明主题模型在这块还是很有用的。

**进一步思考，可不可以这么推论，如果说我们的任务输入越是特定领域，那么假如tBERT越有明显的提升呢？**

这个感兴趣的大家可以去试一试，比如医疗领域，比如金融领域之类的。

### **参考资料** ###

\[1\]

tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection: *https://www.aclweb.org/anthology/2020.acl-main.630.pdf,*

--------------------

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

(1)点击页面**最上方"AINLP"**，进入公众号主页。

(2)点击**右上角的小点点**，在弹出页面点击“**设为星标**”，就可以啦。

感谢支持，比心![dc1c5b8a73fc47123a5043e2bb390ccb.png][]。

**欢迎加入AINLP技术交流群** **进群请添加小助手微信 AINLPer(id: ainlper)，备注NLP技术交流** ![02154dafe4c23950994476323aff8fdc.png][]

**推荐阅读**

这个NLP工具，玩得根本停不下来

征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)

完结撒花！李宏毅老师深度学习与人类语言处理课程视频及课件(附下载)

从数据到模型，你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具(NER)哪家强？

学自然语言处理，其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

**关于AINLP**

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。

![99e262ad95dac9b685470afabe2a4d1d.png][]

**阅读至此了，分享、点赞、在看三选一吧?**

[99e262ad95dac9b685470afabe2a4d1d.png]: /images/20221120/6025fa2aabc04bf484cc6532cffe4b4c.png
[cb5ec2e57e9b14d29af59bfb0278db55.png]: /images/20221120/c57f2ad1cb63460fb64b33dba6e69d0f.png
[dd64138599f67792049aace742a8d84d.png]: /images/20221120/f9a589e24d11439a8034930c43d71dd9.png
[2aeb8d05c761c4fbef1211cccbfd4ae0.png]: /images/20221120/62ffad685a07401da6986090a0cd885f.png
[dc1c5b8a73fc47123a5043e2bb390ccb.png]: /images/20221120/2281eefe64a649449c6b58d943785464.png
[02154dafe4c23950994476323aff8fdc.png]: /images/20221120/2f78cc9e956749eb999edc548516ae27.png