华为开源自研AI框架昇思MindSpore模型体验：ModelZoo中的CRNN

冷不防 2024-03-27 04:39 91阅读 0赞

#### 目录 ####

*  一、环境准备
 *   *  1.进入ModelArts官网
     *  2.使用CodeLab体验Notebook实例
 *  二、脚本说明
 *  三、数据集
 *  四、训练过程
 *  五、评估过程
 *  六、推理过程

> CRNN描述  
> CRNN是一种基于图像序列识别的神经网络，应用于场景文本识别。本文研究了场景文本识别问题，这是基于图像序列识别中最重要和最具挑战的任务之一。本文提出了一种新的神经网络结构，将特征提取、序列建模和转录集成到统一框架中。与以前的场景文本识别系统相比，本文提及的架构具有四个特性：（1）端到端可训练，不像现有算法，大多数都是单独训练和调整组件。（2）自然处理任意长度序列，不涉及字符分割或水平尺度标准化。（3）不局限于预定义词典，在无词典和基于词典的场景文本识别任务中都取得了显著的性能。（4）生成有效且更小的模型，在现实的应用场景中更实用。  
> 论文: Baoguang Shi, Xiang Bai, Cong Yao, “An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition”, ArXiv, vol. abs/1507.05717, 2015.

> 模型架构  
> CRNN使用vgg16结构进行特征提取，附加两层双向LSTM，最后使用CTC计算损失。有关详细信息，请参见src/crnn.py。
> 
> 我们提供了2个版本的网络，使用不同的方法将hidden size传到class  
> numbers。您可以通过修改config.yaml中的model\_version来选择不同版本。
> 
> V1中，RNN之后增加了全连接层。 V2中，更改最后一个RNN的输出特征大小，输出具有相同分类数的特征。V2中，切换到内置LSTM  
> cell，而不是DynamicRNN算子，这样GPU和Ascend上都支持该模型。

体验MindSpore ModelZoo中的[**CRNN模型**][CRNN]

如果你对MindSpore感兴趣，可以关注[**昇思MindSpore社区**][MindSpore]

![在这里插入图片描述][a9571b75523b4cbca146948dbadf8715.png]

![在这里插入图片描述][87d584cd0a014854af1926a3741ac436.png]

## 一、环境准备 ##

### 1.进入ModelArts官网 ###

云平台帮助用户快速创建和部署模型，管理全周期AI工作流，选择下面的云平台以开始使用昇思MindSpore，可以在昇思教程中进入[**ModelArts官网**][ModelArts]

![在这里插入图片描述][ee2578b7b26f4435bfd12aedd8959967.png]

选择下方CodeLab立即体验

![在这里插入图片描述][547900ad31bf4f4386132554fe26dfb9.png]

等待环境搭建完成

![在这里插入图片描述][1466f73e44fa4fe69bd38b0b30661e22.png]

### 2.使用CodeLab体验Notebook实例 ###

![在这里插入图片描述][395d4f1a062e48fb8f219650d22bc615.png]  
导入项目仓库，在CodeLab中Clone以下命令

https://gitee.com/mindspore/models.git

![在这里插入图片描述][feaa9e159c74482fb2a2aa806886d05d.png]  
![在这里插入图片描述][4d8f200a1a7548b18ca5fce0c0e18942.png]

导入成功

![在这里插入图片描述][637f02a3931d4651afca4028e0161b31.png]

在右侧切换规格为GPU架构

![在这里插入图片描述][8949e0ae155b4c7eadf35f564eacfec3.png]

![在这里插入图片描述][48eb10dfa1534110818dbe1a3b92721b.png]

切换成功显示如下

![在这里插入图片描述][2604ffdacbc4451d986ef7fe34d48366.png]

进入[**昇思MindSpore官网**][MindSpore 1]，点击上方的安装

![在这里插入图片描述][2dec09846d164105b79d514aa0deed82.png]

获取安装命令

![在这里插入图片描述][1a3f6f85846546638ae410c403fa7866.png]

回到Notebook中，选择Terminal，依次运行命令

![在这里插入图片描述][c49fee4385514f37a2fb87b8edc74c5e.png]

pip install --upgrade pip

conda install mindspore-gpu=1.9.0 cudatoolkit=10.1 -c mindspore -c conda-forge

pip install mindvision

依次运行即可  
![在这里插入图片描述][16562ca9bd6f4fa595bc85a6899e37ab.png]  
![在这里插入图片描述][011f207b00164bb9b1624ca7efcc3cb3.png]  
![在这里插入图片描述][8a69514562154cd5bca0b79f7087583e.png]

## 二、脚本说明 ##

脚本及样例代码

crnn
    ├── README.md                                   # CRNN描述
    ├── convert_ic03.py                             # 转换原始IC03数据集
    ├── convert_iiit5k.py                           # 转换原始IIIT5K数据集
    ├── convert_svt.py                              # 转换原始SVT数据集
    ├── requirements.txt                            # 数据集要求
    ├── scripts
    │   ├── run_standalone_train_cpu.sh             # 在CPU中启动单机训练
    │   ├── run_eval_cpu.sh                         # 在CPU中启动评估
    │   ├── run_distribute_train.sh                 # 在Ascend或GPU中启动分布式训练（8卡）
    │   ├── run_eval.sh                             # 在Ascend或GPU中启动评估
    │   └── run_standalone_train.sh                 # 在Ascend或GPU中启动单机训练（单卡）
    │   └── run_eval_onnx.sh                        # Eval ONNX模型
    ├── src
    │   ├── model_utils
    │       ├── config.py                           # 参数配置
    │       ├── moxing_adapter.py                   # ModelArts设备配置
    │       └── device_adapter.py                   # 设备配置
    │       └── local_adapter.py                    # 本地设备配置
    │   ├── crnn.py                                 # CRNN网络定义
    │   ├── crnn_for_train.py                       # CRNN网络，带梯度、损失和梯度裁剪
    │   ├── dataset.py                              # 训练和评估数据预处理
    │   ├── eval_callback.py
    │   ├── ic03_dataset.py                         # IC03数据预处理
    │   ├── ic13_dataset.py                         # IC13数据预处理
    │   ├── iiit5k_dataset.py                       # IIIT5K数据预处理
    │   ├── loss.py                                 # CTC损失定义
    │   ├── metric.py                               # CRNN网络的准确率指标
    │   └── svt_dataset.py                          # SVT数据预处理
    └── train.py                                    # 训练脚本
    ├── eval.py                                     # 评估脚本
    ├── eval_onnx.py                                # ONNX模型评估脚本
    ├── default_config.yaml                         # 配置文件

训练脚本参数

# Ascend或GPU分布式训练
    用法：bash scripts/run_distribute_train.sh [DATASET_NAME] [DATASET_PATH] [PLATFORM] [RANK_TABLE_FILE](if Ascend)
    
    # Ascend或GPU单机训练
    用法：bash scripts/run_standalone_train.sh [DATASET_NAME] [DATASET_PATH] [PLATFORM]
    
    # CPU单机训练
    用法：bash scripts/run_standalone_train_cpu.sh [DATASET_NAME] [DATASET_PATH]

## 三、数据集 ##

> 注：可以运行原始论文中提到的数据集脚本，也可以运行在相关域/网络架构中广泛使用的脚本。下面将介绍如何使用相关数据集运行脚本。
> 
> 我们使用论文中提到的五个数据集。在训练中，使用Jederberg等人发布的合成数据集（MJSynth和SynthText）作为训练数据，其中包含800万张训练图像及其对应的地面真值词。在评估中，使用四个流行的场景文本识别基准，即ICDAR  
> 2003(IC03)、ICDAR2013（IC13)、IIIT 5k-word（IIIT5k）和街景文本（SVT）。

**数据集准备**

> 对于数据集IC03、IIIT5k和SVT，不能直接在CRNN中使用官网的原始数据集。
> 
> IC03，需要根据word.xml从原始图像中裁剪文本。 IIIT5k，需要从matlib数据文件中提取标注。  
> SVT，需要根据train.xml或test.xml从原始图像中裁剪文本。  
> 我们提供了convert\_ic03.py、convert\_iiit5k.py、convert\_svt.py作为上述预处理的示例参考。

将下载的数据集[ICDAR 2003 Robust Reading Competitions][]  
，放入data文件夹中

![在这里插入图片描述][12afac4b3aa840edaced7d19655e3705.png]

![在这里插入图片描述][d63375e0764b49ad8b374131e33acb99.png]  
![在这里插入图片描述][702db941d6124916966739e1337816dc.png]

## 四、训练过程 ##

设置config.py中的选项，包括学习率和其他网络超参。有关数据集的更多信息，请参阅[MindSpore数据集准备教程][MindSpore 2]。

运行run\_standalone\_train.sh进行CRNN模型的非分布式训练，目前支持Ascend和GPU。

bash scripts/run_standalone_train.sh [DATASET_NAME] [DATASET_PATH] [PLATFORM](optional)
    bash scripts/run_distribute_train.sh ic03 ./data GPU

![在这里插入图片描述][554523198f064689ac3777e510b8a255.png]

可以看到在目录下生成了训练文件夹

![在这里插入图片描述][ef699f75408848f9ad04fb600c09c93f.png]  
![在这里插入图片描述][5a4c00b1b527415fbb0fc529b7aa9ef5.png]  
**分布式训练**

在Ascend或GPU上运行run\_distribute\_train.sh进行CRNN模型的分布式训练

bash scripts/run_distribute_train.sh [DATASET_NAME] [DATASET_PATH] [PLATFORM] [RANK_TABLE_FILE](if Ascend)

检查train\_parallel0/log.txt，将得到输出

![在这里插入图片描述][87a17c0f694448cb95ee6a817764c412.png]

**断点续训练**

如果想使用断点续训练功能，运行训练脚本时，\[RESUME\_CKPT\]参数指定对应的checkpoint文件即可。

## 五、评估过程 ##

运行run\_eval.sh进行评估

bash scripts/run_eval_cpu.sh [DATASET_NAME] [DATASET_PATH] [CHECKPOINT_PATH]

检查eval/log.txt，将得到以下输出：

result: {'CRNNAccuracy': (0.806)}

**训练时评估**

添加并设置run\_eval为True来启动shell，还需添加eval\_dataset来选择评估数据集。如果希望在训练时进行评估，添加eval\_dataset\_path来启动shell。当run\_eval为True时，可设置参数选项：save\_best\_ckpt、eval\_start\_epoch、eval\_interval。

## 六、推理过程 ##

导出MindIR

python export.py --ckpt_file [CKPT_PATH] --file_name [FILE_NAME] --file_format [FILE_FORMAT] --device_target [DEVICE_TARGET] --model_version [MODEL_VERSION](required for cpu)

必须设置ckpt\_file参数。 FILE\_FORMAT：取值范围\[“AIR”, “MINDIR”\]

在Ascend 310上推理

# Ascend 310推理
    bash run_infer_310.sh [MINDIR_PATH] [DATA_PATH] [ANN_FILE_PATH] [DATASET] [DEVICE_ID]

推理结果保存在当前路径中，可以在acc.log文件中查看如下结果

correct num: 2042 , total num: 3000
    result CRNNAccuracy is: 0.806666666666

[CRNN]: https://gitee.com/mindspore/models/tree/master/official/cv/CRNN
[MindSpore]: https://bbs.csdn.net/forums/MindSpore_Official
[a9571b75523b4cbca146948dbadf8715.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1202237a6561447e89bfdb838d29b90c.png
[87d584cd0a014854af1926a3741ac436.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ead9d6cc92114bb596904b3e60829682.png
[ModelArts]: https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dashboard
[ee2578b7b26f4435bfd12aedd8959967.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/32478c100dee4ef4baaefc8eeeb4d9f1.png
[547900ad31bf4f4386132554fe26dfb9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/62388941a6b248d0876af012f55327af.png
[1466f73e44fa4fe69bd38b0b30661e22.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2b66c3cb2ba246e6bdebebcd0d8565b8.png
[395d4f1a062e48fb8f219650d22bc615.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2c17df2d4c6a49f6bbd15362a4710b2a.png
[feaa9e159c74482fb2a2aa806886d05d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/52275d89e3b149d29c70e5bbea50b47e.png
[4d8f200a1a7548b18ca5fce0c0e18942.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dc50fd8f1760435fa8a706ddb7e79d3a.png
[637f02a3931d4651afca4028e0161b31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b2d019c8ab104010a9566d34414bf078.png
[8949e0ae155b4c7eadf35f564eacfec3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2c0a1d9b02bf44f9babc1f2ec24b7340.png
[48eb10dfa1534110818dbe1a3b92721b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b097dc571cc24206a41f3cd89ef84d1b.png
[2604ffdacbc4451d986ef7fe34d48366.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2e4162b14c57426ab3016bd0630d5d9a.png
[MindSpore 1]: https://www.mindspore.cn/
[2dec09846d164105b79d514aa0deed82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/90cd2eb527ab4299b14aa37f75d36c23.png
[1a3f6f85846546638ae410c403fa7866.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/617a0030cc0b47f4a32f3546f6fb2470.png
[c49fee4385514f37a2fb87b8edc74c5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2fac21f8011a414aa154f24637947092.png
[16562ca9bd6f4fa595bc85a6899e37ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4b9cec1f89654229a492e4aec2f83b2d.png
[011f207b00164bb9b1624ca7efcc3cb3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bf34800623e14b5cba1f539465ccbcf3.png
[8a69514562154cd5bca0b79f7087583e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5343290ae8134e28bbb05b843acad7d7.png
[ICDAR 2003 Robust Reading Competitions]: http://www.iapr-tc11.org/mediawiki/index.php?title=ICDAR_2003_Robust_Reading_Competitions
[12afac4b3aa840edaced7d19655e3705.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9bbdb611d19c4d2cb9395ecf202199dd.png
[d63375e0764b49ad8b374131e33acb99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cf017ab2a64540a995fbf1d04d985b8a.png
[702db941d6124916966739e1337816dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/faebe0c6686749999e79e8f53e0639fe.png
[MindSpore 2]: https://gitee.com/link?target=https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset.html
[554523198f064689ac3777e510b8a255.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9efc3993320a4a7d8dfca82a379457b6.png
[ef699f75408848f9ad04fb600c09c93f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/15951970621e4f63a6a4e75de5529200.png
[5a4c00b1b527415fbb0fc529b7aa9ef5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a8a6c22080c047eca18cc935d1831683.png
[87a17c0f694448cb95ee6a817764c412.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fb159ce7fe7f4b189309301ea73378a0.png