大话文本检测经典模型：EAST

￡神魔★判官ぃ 2022-01-16 02:57 567阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

![1bbab54f2e61e523c6571612388aa13fea5.jpg][]

自然场景的文本检测是当前深度学习的重要应用，在之前的文章中已经介绍了基于深度学习的文本检测模型CTPN、SegLink（见文章：[大话文本检测经典模型CTPN][CTPN]、[大话文本检测经典模型SegLink][SegLink]）。典型的文本检测模型一般是会分多个阶段（multi-stage）进行，在训练时需要把文本检测切割成多个阶段（stage）来进行学习，这种把完整文本行先分割检测再合并的方式，既影响了文本检测的精度又非常耗时，对于文本检测任务上中间过程处理得越多可能效果会越差。那么有没有又快、又准的检测模型呢？

**一、EAST模型简介**

本文介绍的文本检测模型EAST，便简化了中间的过程步骤，直接实现端到端文本检测，优雅简洁，检测的准确性和速度都有了进一步的提升。如下图：

![fda45f2f386b0fd655daf14e2dfb88a3427.jpg][]

其中，（a）、（b）、（c）、（d）是几种常见的文本检测过程，典型的检测过程包括候选框提取、候选框过滤、bouding box回归、候选框合并等阶段，中间过程比较冗长。而（e）即是本文介绍的EAST模型检测过程，从上图可看出，其过程简化为只有**FCN阶段（全卷积网络）、NMS阶段（非极大抑制）**，中间过程大大缩减，而且输出结果支持文本行、单词的多个角度检测，既高效准确，又能适应多种自然应用场景。（d）为CTPN模型，虽然检测过程与（e）的EAST模型相似，但只支持水平方向的文本检测，可应用的场景不如EAST模型。如下图：

![e0c69cf042328840c3312b25619d6fe4b76.jpg][]

**二、EAST模型网络结构**

EAST模型的网络结构，如下图：

![6c65fbe3cb38b2ee7f5e760fc59abd71e68.jpg][]

EAST模型的网络结构分为特征提取层、特征融合层、输出层三大部分。

下面展开进行介绍：

**1、特征提取层**

基于PVANet（一种目标检测的模型）作为网络结构的骨干，分别从stage1，stage2，stage3，stage4的卷积层抽取出特征图，卷积层的尺寸依次减半，但卷积核的数量依次增倍，这是一种“金字塔特征网络”（FPN，feature pyramid network）的思想。通过这种方式，可抽取出不同尺度的特征图，以实现对不同尺度文本行的检测（大的feature map擅长检测小物体，小的feature map擅长检测大物体）。这个思想与前面文章介绍的SegLink模型很像；

**2、特征融合层**

将前面抽取的特征图按一定的规则进行合并，这里的合并规则采用了U-net方法，规则如下：

*  特征提取层中抽取的最后一层的特征图（f1）被最先送入unpooling层，将图像放大1倍
 *  接着与前一层的特征图（f2）串起来（concatenate）
 *  然后依次作卷积核大小为1x1，3x3的卷积
 *  对f3，f4重复以上过程，而卷积核的个数逐层递减，依次为128，64，32
 *  最后经过32核，3x3卷积后将结果输出到“输出层”

**3、输出层**

最终输出以下5部分的信息，分别是：

*  score map：检测框的置信度，1个参数；
 *  text boxes：检测框的位置（x, y, w, h），4个参数；
 *  text rotation angle：检测框的旋转角度，1个参数；
 *  text quadrangle coordinates：任意四边形检测框的位置坐标，(x1, y1), (x2, y2), (x3, y3), (x4, y4)，8个参数。

其中，text boxes的位置坐标与text quadrangle coordinates的位置坐标看起来似乎有点重复，其实不然，这是为了解决一些扭曲变形文本行，如下图：

![916a05899248e4fa2fc4be096f45fad0537.jpg][]

如果只输出text boxes的位置坐标和旋转角度（x, y, w, h,θ），那么预测出来的检测框就是上图的粉色框，与真实文本的位置存在误差。而输出层的最后再输出任意四边形的位置坐标，那么就可以更加准确地预测出检测框的位置（黄色框）。

**三、EAST模型效果**

EAST文本检测的效果如下图，其中，部分有仿射变换的文本行的检测效果（如广告牌）

![d9017847e2c5f59a875d6596a4a9adfe158.jpg][]

EAST模型的优势在于简洁的检测过程，高效、准确，并能实现多角度的文本行检测。但也存在着不足之处，例如（1）在检测长文本时的效果比较差，这主要是由于网络的感受野不够大；（2）在检测曲线文本时，效果不是很理想

**四、Advanced EAST**

为改进EAST的长文本检测效果不佳的缺陷，有人提出了Advanced EAST，以VGG16作为网络结构的骨干，同样由特征提取层、特征合并层、输出层三部分构成。经实验，Advanced EAST比EAST的检测准确性更好，特别是在长文本上的检测。

网络结构如下：

![0ae92bf75bf63262c524a6c1e6c9bafc0eb.jpg][]

**墙裂建议**

2017年，Xinyu Zhou 等人发表了关于EAST的经典论文《 EAST: An Efficient and Accurate Scene Text Detector 》，在论文中详细介绍了EAST的技术原理，建议阅读该论文以进一步了解该模型。

关注本人公众号“大数据与人工智能Lab”（BigdataAILab），然后回复“**论文**”关键字可在线阅读经典论文的内容**。**

![155533_IdYn_876354.jpg][]

**推荐相关阅读**

*  [【AI实战】手把手教你文字识别（入门篇：验证码识别）][AI]
 *  [【AI实战】快速掌握TensorFlow（一）：基本操作][AI_TensorFlow]
 *  [【AI实战】快速掌握TensorFlow（二）：计算图、会话][AI_TensorFlow 1]
 *  [【AI实战】快速掌握TensorFlow（三）：激励函数][AI_TensorFlow 2]
 *  [【AI实战】快速掌握TensorFlow（四）：损失函数][AI_TensorFlow 3]
 *  [【AI实战】搭建基础环境][AI 1]
 *  [【AI实战】训练第一个模型][AI 2]
 *  [【AI实战】编写人脸识别程序][AI 3]
 *  [【AI实战】动手训练目标检测模型（SSD篇）][AI_SSD]
 *  [【AI实战】动手训练目标检测模型（YOLO篇）][AI_YOLO]
 *  [【精华整理】CNN进化史][CNN]
 *  [大话文本识别经典模型（CRNN][CRNN]）
 *  [大话文本检测经典模型（CTPN）][CTPN]
 *  [大话文本检测经典模型（SegLink）][SegLink]
 *  [大话文本检测经典模型（EAST）][EAST]
 *  [大话卷积神经网络（CNN）][CNN 1]
 *  [大话循环神经网络（RNN）][RNN]
 *  [大话深度残差网络（DRN）][DRN]
 *  [大话深度信念网络（DBN）][DBN]
 *  [大话CNN经典模型：LeNet][CNN_LeNet]
 *  [大话CNN经典模型：AlexNet][CNN_AlexNet]
 *  [大话CNN经典模型：VGGNet][CNN_VGGNet]
 *  [大话CNN经典模型：GoogLeNet][CNN_GoogLeNet]
 *  [大话目标检测经典模型：RCNN、Fast RCNN、Faster RCNN][RCNN_Fast RCNN_Faster RCNN]
 *  [大话目标检测经典模型：Mask R-CNN][Mask R-CNN]
 *  [27种深度学习经典模型][27]
 *  [浅说“迁移学习”][Link 1]
 *  [什么是“强化学习”][Link 2]
 *  [AlphaGo算法原理浅析][AlphaGo]
 *  [大数据究竟有多少个V][V]
 *  [Apache Hadoop 2.8 完全分布式集群搭建超详细教程][Apache Hadoop 2.8]
 *  [Apache Hive 2.1.1 安装配置超详细教程][Apache Hive 2.1.1]
 *  [Apache HBase 1.2.6 完全分布式集群搭建超详细教程][Apache HBase 1.2.6]
 *  [离线安装Cloudera Manager 5和CDH5（最新版5.13.0）超详细教程][Cloudera Manager 5_CDH5_5.13.0]

转载于:https://my.oschina.net/u/876354/blog/3050127

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/da5013d8c9684e3db75f51303ecff7f9.png
[1bbab54f2e61e523c6571612388aa13fea5.jpg]: /images/20220114/fa3431bf68774eb4ad976befd346a227.png
[CTPN]: https://my.oschina.net/u/876354/blog/3047851
[SegLink]: https://my.oschina.net/u/876354/blog/3049704
[fda45f2f386b0fd655daf14e2dfb88a3427.jpg]: /images/20220114/afe347c41dd0489e83cf7fea9a0c075f.png
[e0c69cf042328840c3312b25619d6fe4b76.jpg]: /images/20220114/953a87d372204470a66b498d90733f52.png
[6c65fbe3cb38b2ee7f5e760fc59abd71e68.jpg]: /images/20220114/783450a927fd429cbbf8ec6498c3e864.png
[916a05899248e4fa2fc4be096f45fad0537.jpg]: /images/20220114/1284673e3cff43d7a9a55928862fb85d.png
[d9017847e2c5f59a875d6596a4a9adfe158.jpg]: /images/20220114/858eee328db4431d9b8d92deaa3c8cf3.png
[0ae92bf75bf63262c524a6c1e6c9bafc0eb.jpg]: /images/20220114/32243229b93d4b12a4d132903883d1cf.png
[155533_IdYn_876354.jpg]: https://static.oschina.net/uploads/space/2018/0213/155533_IdYn_876354.jpg
[AI]: https://my.oschina.net/u/876354/blog/3048523
[AI_TensorFlow]: https://my.oschina.net/u/876354/blog/1930175
[AI_TensorFlow 1]: https://my.oschina.net/u/876354/blog/1930490
[AI_TensorFlow 2]: https://my.oschina.net/u/876354/blog/1937296
[AI_TensorFlow 3]: https://my.oschina.net/u/876354/blog/1940819
[AI 1]: https://my.oschina.net/u/876354/blog/1924805
[AI 2]: https://my.oschina.net/u/876354/blog/1926060
[AI 3]: https://my.oschina.net/u/876354/blog/1926679
[AI_SSD]: http://my.oschina.net/u/876354/blog/1927351
[AI_YOLO]: https://my.oschina.net/u/876354/blog/1927881
[CNN]: https://my.oschina.net/u/876354/blog/1797489
[CRNN]: https://my.oschina.net/u/876354/blog/3047853
[EAST]: https://my.oschina.net/u/876354/blog/3050127
[CNN 1]: http://my.oschina.net/u/876354/blog/1620906
[RNN]: https://my.oschina.net/u/876354/blog/1621839
[DRN]: https://my.oschina.net/u/876354/blog/1622896
[DBN]: https://my.oschina.net/u/876354/blog/1626639
[CNN_LeNet]: https://my.oschina.net/u/876354/blog/1632862
[CNN_AlexNet]: https://my.oschina.net/u/876354/blog/1633143
[CNN_VGGNet]: https://my.oschina.net/u/876354/blog/1634322
[CNN_GoogLeNet]: https://my.oschina.net/u/876354/blog/1637819
[RCNN_Fast RCNN_Faster RCNN]: https://my.oschina.net/u/876354/blog/1787921
[Mask R-CNN]: https://my.oschina.net/u/876354/blog/1802743
[27]: https://my.oschina.net/u/876354/blog/1924779
[Link 1]: https://my.oschina.net/u/876354/blog/1614883
[Link 2]: https://my.oschina.net/u/876354/blog/1614879
[AlphaGo]: https://my.oschina.net/u/876354/blog/1594849
[V]: https://my.oschina.net/u/876354/blog/1604254
[Apache Hadoop 2.8]: https://my.oschina.net/u/876354/blog/993836
[Apache Hive 2.1.1]: https://my.oschina.net/u/876354/blog/1057639
[Apache HBase 1.2.6]: https://my.oschina.net/u/876354/blog/1163018
[Cloudera Manager 5_CDH5_5.13.0]: https://my.oschina.net/u/876354/blog/1605320