Python实现基于神经网络模型的数学公式识别

怼烎@ 2024-03-24 21:14 10阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251297  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251297

## LaTeX OCR ##

Seq2Seq + Attention + Beam Search。

![在这里插入图片描述][ff6e8ff79adc448aaf4777eb7c30dee2.png]

![efca2778b412dc0b9cf63a007c948183.png][]  
![在这里插入图片描述][5a5f0286c22e45b495608959bc8e7769.png]  
![在这里插入图片描述][6995e47a9e60421f91d91654c3fc1e47.png]  
![在这里插入图片描述][ee23a5dd1df046a19e85f6b95d804afb.png]  
![在这里插入图片描述][cc912880f3ac47b6a30ca945970f122d.png]

结构

![a85810e8134e4decf6b95910115c1ef8.png][]

### 1. 搭建环境 ###

1.  python3.5 + tensorflow1.12.2
2.  latex (latex 转 pdf)
3.  ghostscript (图片处理)
4.  magick (pdf 转 png)

#### Linux ####

一键安装

make install-linux

或

1.  安装本项目依赖

virtualenv env35 --python=python3.5
    source env35/bin/activate
    pip install -r requirements.txt

1.  安装 latex (latex 转 pdf)

sudo apt-get install texlive-latex-base
    sudo apt-get install texlive-latex-extra

1.  安装 ghostscript

sudo apt-get update
    sudo apt-get install ghostscript
    sudo apt-get install libgs-dev

1.  安装 [magick][] (pdf 转 png)

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
    tar -xvf ImageMagick.tar.gz
    cd ImageMagick-7.*; \
    ./configure --with-gslib=yes; \
    make; \
    sudo make install; \
    sudo ldconfig /usr/local/lib
    rm ImageMagick.tar.gz
    rm -r ImageMagick-7.*

#### Mac ####

一键安装

make install-mac

或

1.  安装本项目依赖

sudo pip install -r requirements.txt

1.  LaTeX 请自行安装
2.  安装 [magick][] (pdf 转 png)

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
    tar -xvf ImageMagick.tar.gz
    cd ImageMagick-7.*; \
    ./configure --with-gslib=yes; \
    make;\
    sudo make install; \
    rm ImageMagick.tar.gz
    rm -r ImageMagick-7.*

### 2. 开始训练 ###

#### 生成小数据集、训练、评价 ####

提供了样本量为 100 的小数据集，方便测试。只需 2 分钟就可以根据 `./data/small.formulas/` 下的公式生成用于训练的图片。

一步训练

make small

或

1.  生成数据集
    
    用 LaTeX 公式生成图片，同时保存公式-图片映射文件，生成字典 **只用运行一次**
    
        # 默认
        python build.py
        # 或者
        python build.py --data=configs/data_small.json --vocab=configs/vocab_small.json
2.  训练
    
        # 默认
        python train.py
        # 或者
        python train.py --data=configs/data_small.json --vocab=configs/vocab_small.json --training=configs/training_small.json --model=configs/model.json --output=results/small/
3.  评价预测的公式
    
        # 默认
        python evaluate_txt.py
        # 或者
        python evaluate_txt.py --results=results/small/
4.  评价数学公式图片
    
        # 默认
        python evaluate_img.py
        # 或者
        python evaluate_img.py --results=results/small/

#### 生成完整数据集、训练、评价 ####

根据公式生成 70,000+ 数学公式图片需要 `2`\-`3` 个小时

一步训练

make full

或

1.  生成数据集
    
    用 LaTeX 公式生成图片，同时保存公式-图片映射文件，生成字典 **只用运行一次**
    
        python build.py --data=configs/data.json --vocab=configs/vocab.json
2.  训练
    
        python train.py --data=configs/data.json --vocab=configs/vocab.json --training=configs/training.json --model=configs/model.json --output=results/full/
3.  评价预测的公式
    
        python evaluate_txt.py --results=results/full/
4.  评价数学公式图片
    
        python evaluate_img.py --results=results/full/

### 3. 可视化 ###

#### 可视化训练过程 ####

用 tensorboard 可视化训练过程

小数据集

cd results/small
    tensorboard --logdir ./

完整数据集

cd results/full
    tensorboard --logdir ./

#### 可视化预测过程 ####

打开 `visualize_attention.ipynb`，一步步观察模型是如何预测 LaTeX 公式的。

或者运行

# 默认
    python visualize_attention.py
    # 或者
    python visualize_attention.py --image=data/images_test/6.png --vocab=configs/vocab.json --model=configs/model.json --output=results/full/

可在 `--output` 下生成预测过程的注意力图。

### 4. 评价 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">指标</th> 
   <th align="center">训练分数</th> 
   <th align="center">测试分数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">perplexity</td> 
   <td align="center">1.39</td> 
   <td align="center">1.44</td> 
  </tr> 
  <tr> 
   <td align="center">EditDistance</td> 
   <td align="center">81.68</td> 
   <td align="center">80.45</td> 
  </tr> 
  <tr> 
   <td align="center">BLEU-4</td> 
   <td align="center">78.21</td> 
   <td align="center">75.42</td> 
  </tr> 
  <tr> 
   <td align="center">ExactMatchScore</td> 
   <td align="center">13.93</td> 
   <td align="center">12.44</td> 
  </tr> 
 </tbody> 
</table>

perplexity 是越接近 1 越好，其余 3 个指标是越大越好。ExactMatchScore 比较低，继续训练应该可以到 70 以上。机器不太好，训练太费时间了。

### 5. 模型的具体实现细节 ###

#### 总述 ####

首先我们获取到足够的公式，对公式进行规范化处理，方便划分出字典。然后通过规范化的公式使用脚本生成图片，具体用到了 latex 和 ghostscript 和 magick，同时保存哪个公式生成哪个图片，保存为公式-图片映射文件。这样我们得到了 3 个数据集：规范化的公式集，图片集，公式-图片映射集，还有个附赠品：latex 字典。这个字典决定了模型的上限，也就是说，模型预测出的公式只能由字典里的字符组成，不会出现字典以外的字符。

然后构建模型。

模型分为 3 部分，数据生成器，神经网络模型，使用脚本。

数据生成器读取公式-图片映射文件，为模型提供(公式, 图片)的矩阵元组。

神经网络模型是 Seq2Seq + Attention + Beam Search。Seq2Seq 的 Encoder 是 CNN，Decoder 是 LSTM。Encoder 和 Decoder 之间插入 Attention 层，具体操作是这样：Encoder 到 Decoder 有个扁平化的过程，Attention 就是在这里插入的。随 Attention 插入的还有我们自定义的一个 op，用来导出 Attention 的数据，做 Attention 的可视化。

使用脚本包括构建脚本、训练脚本、测试脚本、预测脚本、评估脚本、可视化脚本。使用说明看上面的命令行就行。

训练过程根据 epoch 动态调整 LearningRate。decoder 可以选择用 `lstm` 或 `gru`，在 `configs/model.json` 里改就行。最后输出结果可以选择用 `beam_search` 或 `greedy`，也是在 `configs/model.json` 里改。

#### 数据获取和数据处理 ####

我们只要获取到正确的 latex 公式就行。因为我们可以使用脚本将 latex 渲染出图片，所以就不用图片数据了。

原来我们想使用爬虫爬取 [arXiv][] 的论文，然后通过正则表达式提取论文里的 latex 公式。

但是最后我们发现已经有人做了这个工作，所以就用了他们的公式数据。[im2latex-100k , arXiv:1609.04938][im2latex-100k _ arXiv_1609.04938]

现在我们获取到 latex 公式数据，下面进行规范化。

> 为什么要规范化：如果不规范化，我们构建字典时就只能是 char wise，而 latex 中有很多是有特定排列的指令，比如 `\lim`，这样模型需要花费额外的神经元来记住这些 pattern，会使模型效果变差，也导致训练费时间。（有时根本不收敛…别问我怎么知道的…）

我们先手动在代码编辑器里对数据进行规范化，很玄学地用了一些正则表达式，一步一步进行规范化。

最后总结了一下，明确要构建的字典大概是什么样的，然后写了脚本来处理。

然后是通过公式生成图片，保存公式-图片映射文件，构建字典。

构建字典很简单，遍历公式文件的每一行，然后以空格符 `` 为分隔符分割成若干 latex 块，去掉每一块首尾空格，若非空则加入字典集，保证不重复。

保存公式-图片映射文件也很简单，就是在渲染出图片后，保存 `当前的公式在公式文件里的行号` 和 `图片路径`，写入映射文件里，也就是 `.matching.txt` 文件。图片文件名是直接用公式行号来命名的，比如 `1234.png 1234` 表示第 1234 行公式的公式图片是 1234.png。所以知道了行号，就知道了公式图片路径。

通过公式生成图片稍微复杂一点，需要用到几个库：latex、ghostscript 和 magick。事实上用 Katex 也是可以的，katex 是一个渲染 latex 公式的 js 库，体积小速度快。原来我们也是打算用这个库处理，后来因为环境问题放弃了。

latex 原先我的环境里有了，这是用来生成 pdf 文件的。执行脚本后会得到 A4 纸大小的一页 pdf。

ghostscript 和 magick 绑定在一起，用来把 pdf 转化为 png 格式的图片。

转化为图片后，选定公式 padding 8 个像素的方框，crop 框外的空白，然后灰度化。

#### 模型构建 ####

让我鸽一段时间。。。有空再写！

### 6. 踩坑记录 ###

#### win10 用 GPU 加速训练 ####

装驱动后就行了。运行下面代码进行训练：

C:/Users/dlink/AppData/Local/Programs/Python/Python35/python.exe train.py --data=configs/data.json --vocab=configs/vocab.json --training=configs/training.json --model=configs/model.json --output=results/full/

我的环境比较奇葩，是 win10+ubuntu wsl，也就是 windows+linux 子系统。我的 GPU 驱动装在 win 里面了，Linux 里没装，不过文件系统是共用的，所以用 win 的 GPU 驱动来训练模型。（嗯，python 也有两套版本哈哈哈，都是 python3.5）

#### 如何可视化 Attention 层 ####

在 Attention 层内自定义一个 op，通过这个 op 把 Attention 传递到一个全局变量里。其他程序在模型预测完公式后，就可以在这个全局变量里获取到 Attention。

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251297  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88251297

[Link 1]: https://download.csdn.net/download/sheziqiong/88251297
[ff6e8ff79adc448aaf4777eb7c30dee2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/856d91169c9d4c438930e2a82ef4b217.png
[efca2778b412dc0b9cf63a007c948183.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/68e9ed4112214b12b43dd026c70fcfbb.png
[5a5f0286c22e45b495608959bc8e7769.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/4d11d6b81a974bd490af73d3b67fec62.png
[6995e47a9e60421f91d91654c3fc1e47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/0ce6832c33374c4b8d5c4a4da3f1afab.png
[ee23a5dd1df046a19e85f6b95d804afb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/f8c3a0451a68422895bd9fac3d9ece2f.png
[cc912880f3ac47b6a30ca945970f122d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/212dc5067cf04657a85856b0f64093d2.png
[a85810e8134e4decf6b95910115c1ef8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/c95c9c01912c47f9857bde62d18d0432.png
[magick]: https://www.imagemagick.org/script/install-source.php
[arXiv]: https://arxiv.org/
[im2latex-100k _ arXiv_1609.04938]: https://zenodo.org/record/56198#.XKMMU5gzZBB