探索大模型时代下的文档识别与分析【GPT4-V带来的挑战与机遇】

雨点打透心脏的1/2处 2024-04-20 12:07 65阅读 0赞

**中国图象图形学学会青年科学家会议**是由中国图象图形学学会青年工作委员会发起的学术会议。本会议面向国际学术前沿与国家战略需求，致力于支持图象图形领域的优秀青年学者，为青年学者们提供学术交流与研讨的平台，促进学者之间的交流与合作。会议同时邀请工业应用部门与学会青年学者做深入交流，鼓励图象图形领域的“产学研”合作，会议中合合信息的丁凯博士为大家带来了 **《文档图像大模型的思考与探索》** 的分享。让我们一起走进合合信息丁凯博士的演讲，看看大模型技术的加持下，智能文档处理领域有哪些方面的进展与突破。下文内容为根据丁凯博士的分享总结而来。

#### 文章目录 ####

*  GPT4-V在IDP领域的表现
 *  GPT4-V 优缺点
 *  像素级OCR统一模型
 *  OCR大一统模型
 *  文档识别分析+LLM应用
 *  GPT4-V的出现是挑战？机遇？
 *  写在最后+福利

## GPT4-V在IDP领域的表现 ##

![在这里插入图片描述][12e43274effa4dfa8a29d5a53636c7c0.png]

针对GPT4-V在IDP领域的表现，上述文章来源于微软对GPT4-V的测评报告。从报告中我们可以得知，在场景文字识别方面，GPT4-V在多种场景、语言形态和语言种类上都取得了良好的结果。同时，对于手写草稿、几何图形和文字结合的教育场景，以及公式理解等方面，GPT4-V也表现出色。相较于以往需要多个模型协同工作并在特殊场景下进行定制，GPT4-V在这些方面的表现令人印象深刻。

![在这里插入图片描述][3d8cb07824804e8bb6e064955bef9f7e.png]

进一步观察GPT4-V在表格和信息抽取层面的表现，我们可以从两张图中看到，在这些方面GPT4-V的识别和信息抽取效果也相当不错。它不仅能够从证件等简单版式中抽取关键信息，还能处理复杂版式、多图像和自然场景结合的情况，展现了强大的抽取和推理能力。以一张包含啤酒价格推断的账单为例，GPT4-V能够分析自然场景中的啤酒，然后结合账单中的信息计算出价格。

![在这里插入图片描述][a25bfcd9fa5f42c89c3676834e2c3ec4.png]

此外，GPT4-V在文档领域也有出色表现，尤其在流程图、曲线图、表格等图标的识别和理解方面展现出潜力。对于建筑设计图、生物、地理和物理等文档，GPT4-V也能够进行良好的识别和推理。相对于传统方法，特别是在泛化能力方面，GPT4-V展现出更高的水平。针对这些我们现有的一些IDP的识别、分析、理解的算法都是非常大的挑战；

![在这里插入图片描述][a16e039391e84c029e092b46260038f7.png]

上面我们详细介绍了GPT4-V在IDP领域的诸多优势和强大之处，那么有了GPT4-V后，是否能够完全解决OCR的所有问题呢？通过深入分析，我们发现GPT4-V仍然存在一些问题。首先，对于中文，无论是手写还是印刷体，GPT4-V存在严重的幻觉问题；经常会输出一些在文章中本不存在的内容，特别是在处理一些简单手写公式时，GPT4-V的效果也并不理想，常常出现错误。

![在这里插入图片描述][61ee49e7618943c4a82de14c38c4d10f.png]

我们在前文提到了GPT4-V的优点和不足之处。为了更清晰地了解这样多模态大模型在OCR和IDP领域的表现，我们可以通过下面的量化图来将GPT4-V在OCR领域与我们的SOTA进行对比。从对比结果可以看出，除了手写英文外，GPT4-V在场景文字识别、多语言识别、手写公式识别等其他OCR领域与SOTA相比，存在明显差距。我们可以参考右下角的Table6，这是一个手写识别场景的对比，GPT4-V在手写公式识别方面的准确率仅有百分之10几，基本可以说不够实用，而传统的SOTA在这方面可以达到60-70的水平。从这一点可以看出，GPT4-V在我们的领域中仍然与SOTA水平存在差距。

![在这里插入图片描述][ba80d9402d694e0fb408fa5171f68b0a.png]

同时，可能有一个相对较少被关注的问题，那就是对于特别长的文档，虽然GPT4-V能够进行OCR文档识别，但当处理例如将200多页PDF扫描给GPT4-V用于学习和问答理解时，让它将每张图片都识别为文档，这可能超出了大模型的处理范畴。因此，对于长文档，无论是GPT4-V还是chatGPT，都依赖于前置的文档解析和文档识别。文档不仅仅是文字串，它具有结构和版式。即便是对于电子版的PDF解析而言，仍然是一个尚未解决的相当困难的问题。

在下面的图片中，我们可以看到chatGPT实际上利用了一个开源插件，但是在处理相对复杂版式时，其解析结构变得非常差。因此，如果文档解析效果较差，那么后续大模型理解文档的效果就不会太好。

![在这里插入图片描述][ebdf36b0e044429fa465cc721b7ef0ec.png]

## GPT4-V 优缺点 ##

我们将上面的问题总结下：

**优势：**

> GPT4-V的独特之处在于它实现了对文档的端到端识别和理解，与传统方法先感知再理解的流程不同。它在理解和认知方面展现出强大的能力，借助大型语言模型的支持，同时支持对文档元素的识别和理解。除了传统的文字、表格、公式等识别理解外，GPT4-V在处理流程图、图表、建筑物理化学图文等方面的识别能力超越了传统的IDP算法。

**不足：**

> 然而，GPT4-V仍存在一些不足之处。首先，其当前的OCR精度与SOTA水平相比仍存在较大差距。其次，它对于长文档的解析依赖于外部文档解析引擎，外部解析性能会影响整体性能。总体而言，GPT4-V多模态大模型显著提升了AI技术在在线文档分析与识别领域的能力，解决了以前难以处理或无法处理的问题。同时，GPT4-V和chatGPT为我们提供了一种新的范式，即大数据、大算力、多任务、端到端。

![在这里插入图片描述][a1e9a04123174d9698759252cb53fdd6.png]

通过上述分析，我们回顾了文档分析识别的主题，发现GPT4-V在像篡改监测、文本分割擦除等像素级任务方面处理并不理想，也未能达到SOTA水平的性能。然而，GPT4-V的强项在于信息抽取和理解认知层面，为该领域提供了显著的提升。

![在这里插入图片描述][38ecf201dd1a47a6b63c0ccde7dd6217.png]

GPT4-V虽然没有明确执行版面还原，但在文档识别和理解过程中进行了内部相应的工作。基于以上现状的分析，我们可以延伸到以下几个问题：

*  GPT4-V难以处理像素级的OCR任务，如篡改监测、文本分割、文本擦除等。这与传统模型采用一个模型解决一个问题的方式有所不同。大模型给我们的范式是能否创建一个多任务的模型来统一解决OCR任务，通过更大的数据和算力，使整体效果优于传统方法。
 *  GPT4-V具有更强的泛化能力，支持更多文档种类，但精度不足。在这一点上，是否能够在OCR领域创建一个大一统模型，将GPT4-V的泛化能力和传统方法的精度结合起来，通过更大的数据训练和更大的算力，使其在精度上超过SOTA水平，同时拓展泛化能力，成为OCR领域的奇迹。
 *  考虑应用层面，对于长文档，大模型依赖于前置的文档识别分析引擎。如何更好地将识别分析引擎与大语言模型结合，以解决领域内的问题。

![在这里插入图片描述][6e9d1583650a44c2bf68778302e4b981.png]

基于上面的三个问题来看下合合信息-华南理工大学文档图像分析识别与理解联合实验室所作的一些工作：

## 像素级OCR统一模型 ##

![在这里插入图片描述][78148f1732b14b7682463e332befcd7c.png]

`UPOCR`实际上是一个像素级通用模型，通过统一文本擦除、文本分割和篡改文本监测等像素级OCR任务的任务范式、架构和训练策略。

通过引入科学系的任务示例来指导基于Vit的编码器和解释器架构，从效果上看，它优于现有专业性模型。整个模型的主干网络是VITEraser，然后我们结合文本擦除、文本分割和篡改监测等三个任务提示词进行统一训练。训练完成后，该模型可以直接用于下游任务，无需专门的精细调整。

![在这里插入图片描述][ca9c8a8f97d842209ec83ae1575cb4e3.png]

在实验结果中，左上角展示了文本擦除的实验，实验室的方法在文本擦除的绝大部分指标上优于SOTA水平。右上角是文本分割任务的数据，我们的各项指标也优于SOTA水平。在篡改监测方面，我们的大部分指标接近或超过SOTA模型的专业效果。通过右下角的可视化图，更清晰地展示了通过提示词将不同任务分割开来的效果。

![在这里插入图片描述][a2c8a5e859fa4c3086ff7407b8e87134.png]

## OCR大一统模型 ##

在这个领域，许多工作都为我们提供了有益的启示。首先是Donut模型，这是一个无需OCR的文档理解Transformer模型，通过文本序列统一了不同的任务，例如分类、问答以及文档的识别和解析，如下图所示。

另一个方面是Meta的工作，其目标是在语言模型训练过程中获取大量语料，尤其是学术界的扫描文件。他们通过SwinTransformer和Transformer Decoder实现了从文档图像到文档序列的输出，以便将文档传递给大模型进行训练。

还有微软的KOSMOS2.5工作，基于Pix2Seq框架，输入图像并输出文本块识别结果，以及端到端Markdown 3.2亿和Resampler减少图像嵌入数量，性能较NOUGAT要好得多。

**我们还在思考以下几个方面：**

1、将文档图像识别分析的各种任务定义为序列预测的形式，包括文本、段落、版面分析、表格、公式等。  
2、通过不同的提示词引导模型完成不同的OCR任务。  
3、支持篇章级的文档图像识别分析，输出标准格式的Markdown、HTML、Text等。  
4、将文档理解相关的任务交给大语言模型（LLM）来完成。

![在这里插入图片描述][cf54ba5246984688a9eee147441b3ae8.png]

总体而言，我们希望在感知层面取得足够好的性能，然后将认知任务交给大语言模型，因为我们认识到在感知层面，GPT4-V距离SOTA水平还存在较大差距，因此我们希望更好地解决这一领域的问题。

基于SPTS的进一步优化和迭代，我们提出了SPTSV3模型，具有以下特点：

1、多种OCR任务定义为序列预测的形式。  
2、通过不同的提示词引导模型完成不同的OCR任务。  
3、模型沿用SPTS的CNN+Transformer Encoder+Transformer Decoder的图片到序列的结构。

![在这里插入图片描述][89654cde6fb14e3582f7f87494c2a7ae.png]

我们目前定义了一些任务，如场景文字识别、表格识别分析、公式识别、手写文档识别等，初步结果显示在文本方面，实验室的指标在许多方面优于SOTA水平。

当然，我们还有许多工作要做。当前的任务还不够多，与GPT4-V的泛化能力相比，我们仍存在差距。包括模型训练数据、模型参数量等方面，我们仍有很大的可扩展空间，需要进一步提升性能，并不断扩大泛化能力。

## 文档识别分析+LLM应用 ##

在这个领域的研究中，众所周知，随着大语言模型的发展，文档层面的应用也逐渐出现。然而，文档是有结构和逻辑的，例如版面和格式对内容的影响非常大。为了解决这个问题，我们提出了一套技术框架，如下图所示。在获得初步数据后，我们对文档进行识别和版面分析，包括段落、表格、公式、图表等结构，然后进行切分和召回。

![在这里插入图片描述][cafb6bc8c78141aeb9bba82e687aa88e.png]

基于这一框架，实验室进行了实验，对自己的文档以及财报和研报进行了分析。之所以选择这两种类型进行实验是因为它们具备以下特点：文档内容长、图表多、版式复杂、专业性强、数据多、相似概念多。考虑到这些特点，对我们的召回提出了很大的挑战。同时，我们比较了传统方式和实验室的框架下两种模式的检索召回率。在实验室的框架下，召回率达到了80多，当然，我们仍有许多优化的空间。

## GPT4-V的出现是挑战？机遇？ ##

GPT4-V等多模态大模型技术对文档识别与分析领域带来了巨大的推动，同时也给传统的IDP技术提出了挑战。尽管大模型并没有完全解决IDP领域的所有问题，但它为我们提供了很多机会和挑战，如何更好地结合大模型的能力来解决IDP问题是值得深入研究和探索的方向。

GPT4-V在领域中的引入确实带来了很大的挑战，但同时也为我们创造了许多机会。大模型与OCR或IDP并不是互斥的，而是可以有很多结合的机会，使领域能够取得更好的发展。

![在这里插入图片描述][dfd4bd7bf3ed43e4b58a6d3e3cefe2c2.png]

合合信息为何一直关注大模型和文档识别？自公司成立以来，合合信息一直在围绕文档领域进行技术研究和产品开发，涉及TOB、TOC等多个方面。公司将这些技术内容产品化商业化，在出海方面，合合信息的工具化产品也名列前茅。最后丁凯博士呼吁在OCR领域，不论是在技术、应用还是商业化方面，都存在着巨大的机会和价值，值得深入挖掘。

## 写在最后+福利 ##

听完丁凯博士的分享后，深感大模型时代对文档识别的冲击与颠覆。GPT4-V等多模态大模型的崭新范式让我们见识到了AI在文档处理领域的卓越表现，给传统IDP技术带来了巨大挑战。尤其是端到端的文档理解能力，实在让人感叹不已。

当然分享中丁凯博士也提出目前大模型在中文处理和OCR精度等方面还有一定提升空间。也给了该领域的开发者们一些启示，在探索大模型能力的同时，仍需深入研究和拓展，以更好地解决领域内的实际问题。在这个技术变革的过程中，我们需要在创新中持续前行，以迎接未知的挑战。

> 最后的最后，合合信息为大家准备了一波抽奖；填写问卷即可参与，12号开奖；中奖者可以获得 50元京东卡，共抽取10名； **快来参与吧**  
> 问卷地址? [https://qywx.wjx.cn/vm/exOhu6f.aspx][https_qywx.wjx.cn_vm_exOhu6f.aspx]

[12e43274effa4dfa8a29d5a53636c7c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/6dc76f2ce85e4007bafd6539f21d0651.png
[3d8cb07824804e8bb6e064955bef9f7e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/d7bc4c0b863943a6a6d1ea2e816780a4.png
[a25bfcd9fa5f42c89c3676834e2c3ec4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/fe414ac57d0d41f49caaf2c5420475dd.png
[a16e039391e84c029e092b46260038f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/a1868080a5f7484f8f43169d53e1a099.png
[61ee49e7618943c4a82de14c38c4d10f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/e5f9c91fedc94cd3bc2e5b87543cc11c.png
[ba80d9402d694e0fb408fa5171f68b0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/f1cf9d600da040539673a34460333156.png
[ebdf36b0e044429fa465cc721b7ef0ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/2d6244c170064bdbb2ece61902ac0b20.png
[a1e9a04123174d9698759252cb53fdd6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/8a2b9348df7443cca307ac2295c391fe.png
[38ecf201dd1a47a6b63c0ccde7dd6217.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/caa1763476e74456aeab39aab8744897.png
[6e9d1583650a44c2bf68778302e4b981.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/a3f8b382748c41ef94ddce623e3b0419.png
[78148f1732b14b7682463e332befcd7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/b77432ce17794825a73f9a157879166d.png
[ca9c8a8f97d842209ec83ae1575cb4e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/045cc2ee4ab040a68e2f5137a3ec6456.png
[a2c8a5e859fa4c3086ff7407b8e87134.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/60bf71972a244fe6984652d2897e6b20.png
[cf54ba5246984688a9eee147441b3ae8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/2404a7ea5ca54261831dd626d994c588.png
[89654cde6fb14e3582f7f87494c2a7ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/191c970737ed4d1da6a178d3324342f1.png
[cafb6bc8c78141aeb9bba82e687aa88e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/95184ee2c330478ab1bd864a5ce44133.png
[dfd4bd7bf3ed43e4b58a6d3e3cefe2c2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/e856da27cffa45b19651dad5c7615b4d.png
[https_qywx.wjx.cn_vm_exOhu6f.aspx]: https://qywx.wjx.cn/vm/exOhu6f.aspx