【论文阅读】Named Entity Recognition in the Style of Object Detection

桃扇骨 2023-01-12 13:58 157阅读 0赞

> 来自微软  
> 作者没有贴代码链接

借用了计算机视觉中两阶段目标检测的思想和它们如何构造损失函数的方法。

## 模型架构 ##

### 1. 预测实体区域 ###

![在这里插入图片描述][202101281604566.png]  
预测实体的开始和结尾。

结构很简单，bert出来一个线性层，预测开始和结尾。使用的交叉熵损失。

作者对预测的过长实体直接丢弃，并在论文里对丢弃的实体道歉？

### 2. 实体分类 ###

仍然用的bert，这阶段有2个任务：

*  实体损失
 *  实体类型分类损失

![在这里插入图片描述][20210128161415555.png]  
 α \\alpha α和 β \\beta β用于控制边界损失和实体损失的权重

只有当start到end这块区域真的匹配实体，才计算 L t y p e L\_\{type\} Ltype。

与典型的目标检测模型相反，我们不对边界框做回归。模型只会告诉这个范围是否正确，如果不正确，直接丢弃它。

模型结构图：  
![在这里插入图片描述][20210128161144147.png]

#### 左边：起始和结束损失 ####

只把边界附近的token送入后续的模型，使用点积之后，增加一个全连接层，将特征向量都转换成两类分类的logit。

#### 右边：实体类别损失 ####

bert出来以后全连接，然后max pooling，送入另一个全连接，得到最终的logit。

各个线性层都是用ReLU激活的

在推理时，首先考虑实体的概率，超过阈值才认为是个实体，然后进行分类，输出最可能的类型。

### 3. 训练时 ###

增加了随机选择的负区域，增强鲁棒性。对于每个句子，生成一个长度范围在1到6的随机区域，不属于真实实体，也不在预测的候选区域中。把它标记为错误的样本，和其他候选样本一起输入到训练过程中。

针对嵌套实体，模型表现也很好。

[202101281604566.png]: /images/20221119/70b2b8f4b8514d48b8bae5027c12e140.png
[20210128161415555.png]: /images/20221119/ebffe35ba5f244c4ac7445ec5d823fee.png
[20210128161144147.png]: /images/20221119/0bb11eea4bc949609bd0d225bce332c6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，157人围观）

还没有评论，来说两句吧...

相关阅读

相关 The Devil of Face Recognition is in the Noise

摘要人脸识别数据集的规模越来越大，这使得我们能够训练用于人脸识别的强卷积网络。虽然已经设计了各种架构和损失函数，但我们对现有数据集固有的标签噪声的来源和后果的理解仍然有

╰半橙微兮°/ 2023年01月20日 12:56/ 0 赞/ 11 阅读

相关【论文阅读】Named Entity Recognition in the Style of Object Detection

> 来自微软 > 作者没有贴代码链接借用了计算机视觉中两阶段目标检测的思想和它们如何构造损失函数的方法。模型架构 1. 预测实体区域 ![在这里插入图片

桃扇骨/ 2023年01月12日 13:58/ 0 赞/ 158 阅读

相关论文阅读《Early Detection of Fake News by Utilizing the Credibility of News, Publisers,...》

LawsonAbs的认知与思考，还请各位读者批判阅读。总结文章来源：csdn：LawsonAbs 本文提出一种新的模型：结合了publisher，use

电玩女神/ 2022年12月28日 14:21/ 0 赞/ 100 阅读

相关 FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking

FairMOT：论多目标追追踪中检测和重识别的公平性摘要：最近几年在物体追踪和重识别中取得了显著的进步，这对于多目标追踪是关键的组成部分。然而，很少有人关注在单

我就是我/ 2022年11月01日 13:53/ 0 赞/ 21 阅读

相关论文阅读《Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data》

前言文章来源：LawsonAbs（CSDN）论文[地址][Link 1] 望各位读者审慎阅读。 -------------------- 这是一

冷不防/ 2022年10月09日 04:50/ 0 赞/ 159 阅读

相关论文阅读《SPANNER: Named Entity Re-/Recognition as Span Prediction》

前言文章来源：LawsonAbs（CSDN）望各位读者审慎阅读这篇文章作者自己引用了自己的5篇工作。。。论文[地址][Link 1]

布满荆棘的人生/ 2022年10月04日 15:51/ 0 赞/ 35 阅读

相关论文阅读笔记：Distilling the Knowledge in a Neural Network论文阅读

论文原文链接[ 原文链接][Link 1] Distilling the Knowledge in a Neural Network 作者想要解决的问题 1

深藏阁楼爱情的钟/ 2022年09月12日 12:51/ 0 赞/ 219 阅读

相关【论文阅读笔记】目标检测之RetinaNet--论文阅读 Focal Loss for Dense Object Detection

【写在前面】 RetinaNet 是目前目标检测最为优秀的方法之一，值得好好拜读一下，在COCO数据集上达到了单个模型的state of art 的效果, 由Kaiming H

拼搏现实的明天。/ 2022年05月16日 01:18/ 0 赞/ 267 阅读

相关《An Analysis of Scale Invariance in Object Detection – SNIP》论文笔记

1. 概述 > 导读：这篇文章要讨论的是检测模型中对于小目标的检测问题，小目标在检测任务中是公认的难题。这篇文章首先分析了什么原因限制了检测模型对小目标的检测性能，对于小

ゝ一世哀愁。/ 2022年01月28日 01:41/ 0 赞/ 269 阅读

相关论文阅读：【RetinaNet】Focal Loss for Dense Object Detection

论文地址：[https://arxiv.org/pdf/1708.02002.pdf][https_arxiv.org_pdf_1708.02002.pdf] 代码： [P

逃离我推掉我的手/ 2021年10月15日 19:37/ 0 赞/ 317 阅读