ctpn解读

柔情只为你懂 2022-03-15 18:16 327阅读 0赞

**1、一些资源**

1.1、原始论文：[https://arxiv.org/pdf/1609.03605.pdf][https_arxiv.org_pdf_1609.03605.pdf]

1.2、一些讲的比较好的中文博客，可以先看中文博客，再看原始论文：

[https://blog.csdn.net/zchang81/article/details/78873347][https_blog.csdn.net_zchang81_article_details_78873347]

[https://blog.csdn.net/SIGAI\_CSDN/article/details/80800131][https_blog.csdn.net_SIGAI_CSDN_article_details_80800131]

[https://zhuanlan.zhihu.com/p/34757009][https_zhuanlan.zhihu.com_p_34757009]

[https://zhuanlan.zhihu.com/p/43145228][https_zhuanlan.zhihu.com_p_43145228]

[http://www.neurta.com/node/390][http_www.neurta.com_node_390]

1.3、代码（tf版及caffe版）：[https://github.com/YCG09/chinese\_ocr][https_github.com_YCG09_chinese_ocr]

[https://github.com/tianzhi0549/CTPN][https_github.com_tianzhi0549_CTPN]

**2、论文解读**

**2.1算法效果**

首先分析文本检测的特点：文本检测和一般目标检测的不同——文本线是一个sequence（字符、字符的一部分、多字符组成的一个sequence），而不是一般目标检测中只有一个独立的目标。要检测出一个完整的文本线，同一文本线上不同字符可能差异大，距离远，要作为一个整体检测出来难度比单个目标更大——因此，作者认为预测文本的竖直位置（文本bounding box的上下边界）比水平位置（文本bounding box的左右边界）更容易，所以ctpn的亮点1、创新性的提出了vertical anchor，这是提高文本行检测精度的关键。同时，同一文本线上不同字符可以互相利用上下文，可以用sequence的方法比如RNN来表示，所以亮点2、将lstm引入到了网络里面，并且和cnn无缝对接，发挥lstm的记忆作用，根据前后的anchor 序列来提取这种相互之间的关系特征，输出给fc层，给每个anchor打分，最后用文本线构造法，将anchor连接起来，得到文本行。这两大亮点使得ctpn在文本行检测的精确度方面有了很大的提升，先上图形象的感受一下ctpn的效果，然后再具体看数字精确的对比。如下：

![image2019-3-7_14-58-52.png_version_1_modificationDate_1551941932322_api_v2][] ![image2019-3-7_14-58-52.png_version_1_modificationDate_1551941932322_api_v2][]

![image2019-3-7_15-1-7.png_version_1_modificationDate_1551942067793_api_v2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70][]

![image2019-3-7_15-7-18.png_version_1_modificationDate_1551942438640_api_v2][]

![image2019-3-7_14-49-8.png_version_1_modificationDate_1551941348747_api_v2][]

![image2019-3-7_14-51-34.png_version_1_modificationDate_1551941494275_api_v2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 4][]

2.2 算法结构

先上图，下面就针对这张算法整体结构图来说

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 5][]

![image2019-3-7_15-59-49.png_version_1_modificationDate_1551945589376_api_v2][]

1、用VGG16的前5个Conv stage（到conv5）得到feature map(W\*H\*C)这里C是特征图的个数为512

2、在Conv5的feature map的每个位置上取3\*3\*512\*512（\[filter\_height, filter\_width, in\_channels, out\_channels\]）

的窗口做卷积，得到W\*H\*512的特征图，这些特征将用于预测该位置k个anchor（anchor的定义和Faster RCNN类似）对应的类别信息，位置信息。

3、将每一行的3\*3\*512的卷积得到的512维的特征向量输入到双向lstm里面去，lstm的隐含层节点个数是128，双向则为256。在不考虑batchsize的情况下，

一共有H\*W个512维的特征向量进入双向lstm，W也代表类似于时序了，输出是128，两个lstm一个是从1到w，一个是从w到1的顺序输入lstm，最终BLSTM得到256维的特征，将短边缩放到600的情况下，有lstm0.14s每张，没有lstm的话0.13s，有和没有的效果对比如下：![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 6][]

![image2019-3-8_11-49-2.png_version_1_modificationDate_1552016943378_api_v2][]

4、最后连接两个fc，fc的输入是BLSTM的输出256D的特征，输出是512D，一共有H\*W个，注意，有的版本的代码里面fc使用1\*1的卷积实现的，1\*1卷积可以减少参数，但是效果基本没差别（咨询过了）

其中第一个fc计算的是bbox，bbox应该是h\*w\*4，ctpn中只预测h和y值，所以只有h\*w\*2个，第二个fc计算的是score，分别表示是背景的score和是文本的score，损失函数是softmax loss

ctpn中的num\_anchors（k）=10，整张图片上有w\*h\*num\_anchors\*2个score和coordinate，这里默认了每个anchor的width是16（也就是下面贴的代码里面的anchor\_scales=16），上图中那些红色的细长矩形，它们的宽度是一定的，都是16。所以，每次在做训练之前先要把标注的文本行变成16宽的小框，ctpn的代码里面有这个脚本。高度从11~283（每次除以0.7），Anchor必须是对应原图尺度！

这样看来side-refinement并没有在代码里面实现，但是在后面论文里面的loss里面有体现

当然anchor\_scale也可以设置成宽度为\[8，16，32\]这种多尺度的情况，那么每个像素点的num\_anchors（k）=30了。

回归的高度h及中心坐标y，和gt（带\*）的高度h和中心坐标y的计算方式如下，带a的表示是anchor，损失函数是smooth L1：

![20190308175859637.png][]

score阈值设置：0.7 （+NMS），

5、用文本线构造算法，把分类得到的文字的proposal（上中的细长的矩形，score>0.7）合并成文本线。

主要思想：每两个相近的proposal组成一个pair，合并不同的pair直到无法再合并为止（没有公共元素）

如果两个proposal，Bi和Bj组成pair去合并的条件,Bj->Bi,且Bi->Bj(Bj→Bi表示Bj是Bi的最好邻居):

Bj->Bi条件1：Bj是Bi的邻居中距离Bi最近的，且该距离小于50个像素

Bj->Bi条件2：Bj和Bi的vertical overlap大于0.7

固定要regression的box的宽度和水平位置会导致predict的box的水平位置不准确，所以作者引入了side-refinement，用于水平位置的regression，损失函数是smooth L1函数

![1058268-20170112212912588-2132674610.png][]

where xside is the predicted x-coordinate of the nearest horizontal side (e.g., left or right side) to current anchor. x∗ side is the ground truth (GT) side coordinate in x-axis, which is pre-computed from the GT bounding box and anchor location. cax is the center of anchor in x-axis. wa is the width of anchor, which is fixed, wa = 16

作者解释，side-proposals被定义为开始和结束提议，仅使用side-proposal的偏移量来细化最终的文本行边界框。 side-refinement进一步提高了定位精度，使得SWT和 Multi-Lingual datasets的性能提高约2％。 另外，作者说在第一张图里面的模型结构中同时预测了side-refinement的偏移量，它不是通过额外的后处理步骤计算出来的，这一点体现在loss function里，但是代码中并没有这部分，可能代码是爱好者写的，并不是作者的源代码，所以会有出入，后面的loss function的补充里面有说明这一点。

具体详细如何做的，可以参考的[http://www.neurta.com/node/390][http_www.neurta.com_node_390]，写的比较详细

有side-refinement和没有side-refinement的对比：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 7][]

下图是整个ctpn结构的代码部分，可以帮助理解

![image2019-3-7_18-4-10.png_version_1_modificationDate_1551953050414_api_v2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 8][]

补充：

模型的loss function![20190308180100457.png][]

Loss分为3个部分：

1.  第一部分Anchor Softmax loss：该Loss用于监督学习每个Anchor中是否包含文本。 ![equation_tex_s_i_5E_2A_3D_5C_7B0_2C1_5C_7D][] 表示是否是Groud truth
2.  第二部分Anchor y coord regression loss：该Loss用于监督学习每个包含为本的Anchor的Bouding box regression y方向offset，类似于Smooth L1 loss。其中 ![v\_j][v_j] 是 ![s\_i][s_i] 中判定为有文本的Anchor（score>0.7），或者与Groud truth vertical IoU>0.5。smooth L1
3.  第三部分side-refinement：这部分是比较迷糊人的，因为在tf版的代码里面并没有实现，取而代之的是regular L2损失，在论文里面的loss里面则是side-refinement损失，smooth L1，k是最左侧或者最右侧的side-proposal的index，后续可以加入这部分的loss看一下效果

**![equation_tex_5Clambda_1][]** ， ![equation_tex_5Clambda_2][] 是各任务的权重系数， ![N\_s][N_s] ， ![N\_v][N_v] ， ![N\_o][N_o] 是归一化参数，表示对应任务的样本数量。

训练细节

每个minibatch同样采用“Image-centric”的采样方法，每次随机取一张图片，然后在这张图片中采样128个样本，并尽量保证正负样本数量的均衡。卷积层使用的是Image-Net上无监督训练得到的结果，权值初始化使用的是均值为0，标准差为0.01的高斯分布。SGD的参数中，遗忘因子是0.9，权值衰减系数是0.0006。前16k次迭代的学习率是0.001，后4k次迭代的学习率是0.0001。

由于加入LSTM，所以CTPN对水平文字检测效果超级好。CTPN加入了双向LSTM学习文字的序列特征，有利于文字检测。但是引入LSTM后，在训练时很容易梯度爆炸，需要小心处理。

[https_arxiv.org_pdf_1609.03605.pdf]: https://arxiv.org/pdf/1609.03605.pdf
[https_blog.csdn.net_zchang81_article_details_78873347]: https://blog.csdn.net/zchang81/article/details/78873347
[https_blog.csdn.net_SIGAI_CSDN_article_details_80800131]: https://blog.csdn.net/SIGAI_CSDN/article/details/80800131
[https_zhuanlan.zhihu.com_p_34757009]: https://zhuanlan.zhihu.com/p/34757009
[https_zhuanlan.zhihu.com_p_43145228]: https://zhuanlan.zhihu.com/p/43145228
[http_www.neurta.com_node_390]: http://www.neurta.com/node/390
[https_github.com_YCG09_chinese_ocr]: https://github.com/YCG09/chinese_ocr
[https_github.com_tianzhi0549_CTPN]: https://github.com/tianzhi0549/CTPN
[image2019-3-7_14-58-52.png_version_1_modificationDate_1551941932322_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_14-58-52.png?version=1&modificationDate=1551941932322&api=v2
[image2019-3-7_15-1-7.png_version_1_modificationDate_1551942067793_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_15-1-7.png?version=1&modificationDate=1551942067793&api=v2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70]: /images/20220311/1b1fba25598142328a3ed53e2a38adf8.png
[image2019-3-7_15-7-18.png_version_1_modificationDate_1551942438640_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_15-7-18.png?version=1&modificationDate=1551942438640&api=v2
[image2019-3-7_14-49-8.png_version_1_modificationDate_1551941348747_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_14-49-8.png?version=1&modificationDate=1551941348747&api=v2
[image2019-3-7_14-51-34.png_version_1_modificationDate_1551941494275_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_14-51-34.png?version=1&modificationDate=1551941494275&api=v2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 1]: /images/20220311/323a20b625d943e0b4e270fdc39dd879.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 2]: /images/20220311/bdb616008ef940f7a4052273b16c2423.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 3]: /images/20220311/01bbf07fbd48401fba61ee242b7fcfa4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 4]: /images/20220311/586daa9dcba24b8788eb341b3475846a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 5]: /images/20220311/abbbfaa893774516851a726fb4fe1493.png
[image2019-3-7_15-59-49.png_version_1_modificationDate_1551945589376_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_15-59-49.png?version=1&modificationDate=1551945589376&api=v2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 6]: /images/20220311/f96b60f6a85d4caeaf63a9e36bb48427.png
[image2019-3-8_11-49-2.png_version_1_modificationDate_1552016943378_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-8_11-49-2.png?version=1&modificationDate=1552016943378&api=v2
[20190308175859637.png]: /images/20220311/cfa9b6ab8c264e3a9f84f4446ab0cb95.png
[1058268-20170112212912588-2132674610.png]: /images/20220311/5b91a80947054c2994f794780d8ec809.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 7]: /images/20220311/4c2b65816ec445e8a5c365b76aa5f4fb.png
[image2019-3-7_18-4-10.png_version_1_modificationDate_1551953050414_api_v2]: https://wiki.4paradigm.com/download/attachments/50568330/image2019-3-7_18-4-10.png?version=1&modificationDate=1551953050414&api=v2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1bGluZ3Rpbmd6aQ_size_16_color_FFFFFF_t_70 8]: /images/20220311/99c49ed7ef684901b609484269f05668.png
[20190308180100457.png]: /images/20220311/1db88a6542f943e7b4766015b68a9de2.png
[equation_tex_s_i_5E_2A_3D_5C_7B0_2C1_5C_7D]: /images/20220311/2204a1dc090b450ba3f1f8ecbe31fa88.png
[v_j]: https://www.zhihu.com/equation?tex=v_j
[s_i]: /images/20220311/5cdc209b14a9452483d5386888fd044b.png
[equation_tex_5Clambda_1]: https://www.zhihu.com/equation?tex=%5Clambda_1
[equation_tex_5Clambda_2]: https://www.zhihu.com/equation?tex=%5Clambda_2
[N_s]: https://www.zhihu.com/equation?tex=N_s
[N_v]: https://www.zhihu.com/equation?tex=N_v
[N_o]: https://www.zhihu.com/equation?tex=N_o