基于医疗知识图谱的问答系统

ゞ浴缸里的玫瑰 2023-10-10 21:59 16阅读 0赞

### **一、项目来源** ###

由于之前用Rasa构建过对话系统，因此一直想脱离Rasa这个开源框架，从底层开始构建一个可以实现相似功能的对话系统，毕竟框架用的再溜，都不如自己做一遍。

恰巧在Rasa群里看到了

[@王乐][Link 1]

前辈分享的一个项目：[基于知识图谱的医疗诊断知识问答系统][Link 2]，先看了一遍视频，然后把代码下载下来，自己实现了一遍，遇到不懂得地方就再看视频，现在基本把这个项目搞明白了，写个总结分享一下，后期会在现有的基础上做一些横向拓展。

由于前辈已经有了视频讲解(项目主页有视频链接)，我的总结和分享尽量避开已有的讲解内容，避免重复。

因此建议本文和前辈的视频配合食用~

### **二、项目架构**[\[1\]][1] ###

目前实现的是最小演示版本，后期前辈可能会加上Redis、Elasticsearch、tf-serving等技术栈，但是于我而言，现在的版本已经足够了。

本文的介绍也是基于目前的这个Demo进行的，后期会不断更新。

**这个项目已实现的功能**：

*  闲聊类的单论对话
 *  基于知识图谱的多轮问答

先看一下对话流程，或者也叫文本解析流程，是根据代码逻辑整理出来的：

![format_png][]

以用户输入“**请问得了心脏病怎么办呢**”为例：

#### NLU模块 ####

**1）**先进入分类模型1，判断是否是闲聊类的意图，包括：greet、goodbye、deny、isbot、accept、 diagnosis：

*  **命中前四个意图**，那就进入**Chitchat\_bot**，从准备好的回复语料中随机抽取一条返回给用户，对话结束；
 *  **命中accept**，accept意图是在进行**问题澄清**时发挥作用；
 *  **命中diagnosis**，进入2）Medical\_bot；

本例中，命中的是`diagnosis` ，进入 2）Medical\_bot

**2）**在Medical\_bot中，先进入分类模型2进行意图二次识别，这里包括13个医疗类的意图；然后进入NER模型进行实体识别与提取；

意图识别的结果是

{'confidence': 0.8997645974159241, 'intent': '治疗方法'}

实体识别的结果是

[{'entities': [{'type': 'disease', 'word': '心脏病'}], 'string': '请问得了心脏病怎么办呢'}, {'entities': [{'recog_label': 'dict', 'type': 'disease', 'word': '心
    脏病'}], 'string': '请问得了心脏病怎么办呢'}]

前面这两步相当于任务型对话机器人中的NLU模块

#### DST模块 ####

**3）**得到意图和实体之后，先用实体填充槽位

**这里说一下NLU和DST的联系与区别**，NLU和DST的关系其实非常紧密，它们都在槽位填充过程中发挥了作用，但是在这个过程中扮演了不同的角色：

*  **NLU模块**是对用户的输入进行意图的分类，同时对输入中的实体进行标注，下面是上面实体识别结果的节选：

{'entities': [{'type': 'disease', 'word': '心脏病'}], 'string': '请问得了心脏病怎么办呢'}

在此项目中，是标出实体的类型(type)，对应知识图谱中的节点，同时标出对应的字段(word)，但是还没有填充，只是把实体找出来而已。

*  **DST模块**则是基于对话历史，为槽位列表中的每一个槽位找到一个槽位值

"治疗方法":{
            "slot_list" : ["Disease"],
            "slot_values":None,
            "cql_template" : ["MATCH(p:疾病) WHERE p.name='{Disease}' RETURN p.cure_way",
                            "MATCH(p:疾病)-[r:recommand_drug]->(q) WHERE p.name='{Disease}' RETURN q.name",
                            "MATCH(p:疾病)-[r:recommand_recipes]->(q) WHERE p.name='{Disease}' RETURN q.name"],
            "reply_template" : "'{Disease}' 疾病的治疗方式、可用的药物、推荐菜肴有：\n",
            "ask_template" : "您问的是疾病 '{Disease}' 的治疗方法吗？",
            "intent_strategy" : "",
            "deny_response":"没有理解您说的意思哦~"
        },

这是"治疗方法"这个意图的下的信息(form)，槽位列表中只有一个槽位"Disease"(下文会对这个form进行详细介绍)。

在每一轮对话中，DST模块都会查看截止目前的所有对话历史，然后确定哪个文本可以填充为槽位列表中某个特定槽位的槽位值，这个过程谓之**追踪**(**D**ialogue **S**tate **T**racking)。

在这个项目中，这一步是通过遍历**槽位列表**和**实体识别的结果**进行匹配完成的。

#### PL模块 ####

**4）**然后根据意图置信度确定回复策略，这里分了三种简单的情况：

*  >=0.8，根据识别到的意图去Neo4j(知识图谱)中查询答案，返回给用户
 *  0.4~0.8，反问用户，进行问题澄清
 *  <0.4，返回兜底话术

DST模块+PL模块组成了任务型对话机器人中的对话管理(DM)模块，在这个项目中界限并不是特别明显，主要实现逻辑都在`modules.py` 文件的 `semantic_parser` 函数中。

学术和工业界也有好多人在研究这一部分，一个热门的方向是用强化学习进行策略的选择，有相关的论文，感兴趣的可以去看看。

### **实现上述过程，需要完成以下几步工作**： ###

**1）构建知识图谱作为底层数据支撑**

这里构建知识图谱采用的数据集是liuhuanyong在[QABasedOnMedicaKnowledg][]eGraph 项目中使用的医疗数据集。

一共**8种实体**：药品、菜谱、食物、检查、科室、药企、疾病、症状，共计4万余个

**11种实体关系**：

*  疾病－忌吃食物关系
 *  疾病－宜吃食物关系
 *  疾病－推荐吃食物关系
 *  疾病－通用药品关系
 *  疾病－热门药品关系
 *  疾病－检查关系
 *  科室－科室关系
 *  厂商－药物关系
 *  疾病症状关系
 *  疾病并发关系
 *  疾病与科室之间的关系

对于没有构建过知识图谱的同学来说，在有**结构化数据集**的情况下，不要把构建知识图谱想象成一件特别复杂，特别困难的事情；知识图谱的难点在于：

*  **数据收集阶段**，从**非结构化数据**中提取出**结构化的信息**，比如从网页文本中找出实体(NER)，并提取出实体间的关系
 *  **图谱设计阶段**，实体定义，属性定义，关系定义，需要一定领域背景知识才能更好的进行图谱设计

而在此项目中，数据集是结构化的，实体，属性，关系也都是定义好的，所以不要把这一步想的很困难。

在实际业务中，构建知识图谱的难易取决于你具体的业务场景，不能一概而论。

**2）分类模型1**

分类模型1的任务是完成多意图分类，判断用户意图是否是闲聊类的，这是第一次意图分类(这个项目中一共进行了两层意图分类)，这里采用的是LR+GBDT多模型融合的方法。

**3）分类模型2**

在Medical\_bot中，首先进入分类模型2，识别出具体的医疗诊断意图：定义、病因、治疗时间、预防、治疗方法等共计13个医疗诊断意图，这里采用的是Bert+TextCNN进行多意图分类。

**4）NER模型**

在Medical\_bot中，第二步是通过NER模型对医疗领域的实体进行识别及提取，即从用户输入中就要求提取出知识图谱中包含的实体的名称，前面提到过，在本项目中一共8种.

但是在大型项目中，实体数量数以万计，而普通的匹配方式由于每次匹配失败都需要回溯，其耗时较久，而AC自动机的时间复杂度理想状态下为O(n)，n为用户输入字符串的长度。

所以一种技术路线就是，使用 AC自动机提取出包含知识库中实体的所有子串(或者最长子串)+ NER实体识别的方式对用户输入中的实体进行提取，再综合两个结果召回评分最高的Top n实体进行后续的链接操作。

本项目采用的就是AC自动机提取所有子串+NER实体识别的方式。

### **三、项目运行** ###

为了方便大家实践，我把自己的代码上传到GitHub了

地址是[KBQA-study][] 与原代码相比：

*  对部分代码添加了注释，方便调试阅读
 *  修改了部分参数和函数的名称
 *  原作者通过itchat链接到微信，通过微信来进行交互，我自己的微信账号连接不了，因此用sanic这个轻量级的框架做了一个网页交互界面，本来还想接入到Telegram，但是实在没时间了，这个计划暂时搁置，其实用什么交互并不是最重要的，重点是算法部分的工作。

我的运行环境：

> Win10+16GB内存+Pycharm

要运行这个项目你需要做以下几项工作

#### 第一步，下载需要的数据和模型 ####

数据是必须要用的，模型后期可以训练你自己的，下载连接在GitHub主页上

下载好后，把数据放到对应的文件夹下

这里除了Bert预训练文件别的都有了，Bert预训练文件太大了，自行在网上下载吧

#### 第二步，构建知识图谱 ####

**1）**在自己电脑上安装Neo4j

参考：

*  [Win10下安装Neo4j][Win10_Neo4j]
 *  [图数据库Neo4j的安装与使用教程（win&Linux）][Neo4j_win_Linux]
 *  [手把手教你快速入门知识图谱 - Neo4J教程][- Neo4J]

**2）**打开一个CMD，输入neo4j.bat console，启动服务

**3）**在Pycharm中运行 `build_kg` 文件夹下的`build_kg_utils.py` 构建知识图谱

*  这个过程比较慢，我自己电脑需要2个小时左右，如果你的内存比较小，关掉一部分非必要应用
 *  把里面涉及到的路径和账号换成你自己的

#### 第三步，启动服务 ####

**1）启动意图识别模型服务和NER模型服务**

启动命令在下面两个文件中

*  `run_intent_recog_service.bat`
 *  `run_ner_service.bat`

直接双击运行这两个文件，打开后不要关闭，如果是Linux系统，将其改成 shell 脚本后运行；

奈何在我的电脑上双击后总是闪退，如果你也遇到类似的情况，可以试试以下方法：

Pycharm 中打开2个Terminal，分别运行`run_intent_recog_service.bat` 和 `run_ner_service.bat` 中的两条命令；

一般是报错了才会闪退，可以用这种方法查看报错信息，进行修改

**2）启动知识图谱服务**

如果你构建好知识图谱后没有关闭服务，这一步可以跳过，要是关闭了，就重新启动

> 打开一个CMD，输入neo4j.bat console，启动服务

**3）启动主程序**

我自己新建了一个local.py的文件，在里面写了sanic的服务代码

你可以先尝试使用微信版本：

> Pycharm 中打开1个Terminal，输入：python itchat\_app.py

如果登陆不了，可以试试输入：python local.py，然后浏览器打开[http://你的IP:12348/swagger/\#/default][http_IP_12348_swagger_default] 就可以用我的这种方式和机器人进行交互了。

### **四、项目总结** ###

#### **就项目当前实现的程度而言，主要涉及到以下知识点** ####

**1）知识图谱的构建**

*  从结构化数据集中提取所有的实体和关系，然后构建三元组
 *  使用Neo4j 创建节点(node)和关系(edge)，这一步需要你熟悉neo4j的一些常用语句

**2）文本分类**

文本分类在本项目中主要体现在两次意图识别上：

*  第一次意图识别：判断用户意图是否是闲聊类，采用的是LR+GBDT多模型融合的方法
 *  第二次意图识别：识别出具体的医疗诊断意图，采用的是Bert+TextCNN

如果是抱着学习的态度，就不能止步于项目中的内容，毕竟文本分类既是NLP入门任务，又是一大分支，可以结合这个项目做些横向的拓展，基于本项目的数据集试试其它的模型，看看效果如何，也可以试试其它数据集，总之把文本分类这个任务掌握的牢固一点。

**3）序列标注**

*  **命名实体识别**

本项目的命名实体识别部分采用的是BiLSTM+CRF模型，后面还用了AC自动机做了补充修正。

*  **槽位填充**

槽位填充一般出现在任务型机器人中，用来从用户那里收集信息，先看意图中有什么槽位，然后去用户输入中做实体识别，以抽取该槽位的槽值，槽位填充本质属于一个序列标注任务。

之前看各种有关资料，都是讲理论，从来不说具体是怎么填充的，通过这个项目，算是基本明白了，重点在`config.py` 文件和`modules.py` 文件的`semantic_parser()`函数里，由于之前用过Rasa，立刻就联想到Rasa中的domain文件， 整个domain文件其实就是一个大字典，存着各种槽位和意图信息。

看一下这个项目是怎么实现多轮问答的，以下内容节选自`config.py` 文件：

semantic_slot = {
        "定义":{
            "slot_list":["Disease"],
            "slot_values":None,
            "cql_template": "MATCH(p:疾病) WHERE p.name='{Disease}' RETURN p.desc",
            "reply_template": "'{Disease}'是这样的：\n",
            "ask_template": "您问的是 '{Disease}' 的定义吗？",
            "intent_strategy": "",
            "deny_response": "很抱歉没有理解你的意思呢~"
        },
        "病因":{
            "slot_list" : ["Disease"],
            "slot_values":None,
            "cql_template" : "MATCH(p:疾病) WHERE p.name='{Disease}' RETURN p.cause",
            "reply_template" : "'{Disease}' 疾病的原因是：\n",
            "ask_template" : "您问的是疾病 '{Disease}' 的原因吗？",
            "intent_strategy" : "",
            "deny_response":"您说的我有点不明白，您可以换个问法问我哦~"
        },
        "预防":{
            "slot_list" : ["Disease"],
            "slot_values":None,
            "cql_template" : "MATCH(p:疾病) WHERE p.name='{Disease}' RETURN p.prevent",
            "reply_template" : "关于 '{Disease}' 疾病您可以这样预防：\n",
            "ask_template" : "请问您问的是疾病 '{Disease}' 的预防措施吗？",
            "intent_strategy" : "",
            "deny_response":"额~似乎有点不理解你说的是啥呢~"
        },
    }

这里面的**定义**、**病因**、**预防**分别代表三个不同的医疗诊断意图，每个意图后面跟着一个字典，字典的key-value存着和意图相关的一些信息，以"**定义**"这个意图为例：

*  槽位列表

"slot_list":["Disease"]

*  槽值：被填充之后，value是一个字典，存着槽位列表中出现的槽位-槽位值

"slot_values":None

*  图谱查询语句

"cql_template": "MATCH(p:疾病) WHERE p.name='{Disease}' RETURN p.desc",

*  回复模板

"reply_template": "'{Disease}'是这样的：\n",

*  澄清话术：意图置信度在0.4-.8之间是，会用此模板进行问题澄清

"ask_template": "您问的是 '{Disease}' 的定义吗？",

*  回复策略

"intent_strategy": "",

*  意图识别失败回复话术

"deny_response": "很抱歉没有理解你的意思呢~"

注意，这里每一个意图下都有"Disease"这个槽位，只要在最开始的时候将该槽位填充后，后面就可以不断的就填充的槽值进行多轮对话，因为槽位填充的逻辑里面有一个是获取上一步的槽值。

**4）模型发布**

分类模型2和NER模型都是以接口的形式提供服务的，通过这个，又可以对模型发布有所了解。

这个项目对于我最重要的是槽位填充那个环节，结合之前使用Rasa的经历，对于如何实现任务型对话机型人有了更深刻的理解，同时也再次暗叹Rasa这个框架的厉害。

#### 本项目可扩展的地方 ####

在算法层面，NLP领域的四大任务，本项目已经涉及到两个：**序列标注**和**文本分类**

目前是采用知识图谱作为底层的数据库，对答案进行存储，可以考虑把**文本生成**的内容加进去，在适当的时候直接用NLG模型生成答案返给用户，至于在什么时候调用NLG模型完全看自己发挥了。

然后是**句子匹配**，也叫句子关系判断，关键是找一个合适的场景以及数据集，然后集成进去，具体方法可以参考这篇：[21个经典深度学习句间关系模型｜代码&技巧][21]

这样一来，一个问答项目就涵盖了**知识图谱**\+**NLP四大任务**，对于学习NLP的同学来说应该是一个挺不错的项目了，比市面上某些培训班的项目还要丰富。

暂时写到这里，希望能帮助到有需要的人

如果文中有什么错误，欢迎指出来~

谢谢~

### 参考 ###

1.  [^][Link 3][https://arxiv.org/abs/2105.04387][https_arxiv.org_abs_2105.04387]

--------------------

[基于医疗知识图谱的问答系统 - 知乎][-]

[GitHub - DeqianBai/KBQA-study: 基于医疗知识图谱的问答系统][GitHub - DeqianBai_KBQA-study_]

[GitHub - z814081807/DeepNER: 天池中药说明书实体识别挑战冠军方案；中文命名实体识别；NER; BERT-CRF & BERT-SPAN & BERT-MRC；Pytorch][GitHub - z814081807_DeepNER_ _NER_ BERT-CRF _ BERT-SPAN _ BERT-MRC_Pytorch]

[【分享吧】Ahocorasick算法实现敏感词过滤][Ahocorasick]

[Link 1]: https://www.zhihu.com/people/1b7326a564c30474efbc1f85c5af40a9
[Link 2]: https://link.zhihu.com/?target=https%3A//github.com/wangle1218/KBQA-for-Diagnosis
[1]: https://zhuanlan.zhihu.com/p/379202949#ref_1
[format_png]: https://img-blog.csdnimg.cn/img_convert/bd089f14c4171b8c0e1e0ac48f592dcf.webp?x-oss-process=image/format,png
[QABasedOnMedicaKnowledg]: https://link.zhihu.com/?target=https%3A//github.com/wangle1218/QASystemOnMedicalKG/tree/master/data
[KBQA-study]: https://link.zhihu.com/?target=https%3A//github.com/DeqianBai/KBQA-study
[Win10_Neo4j]: https://link.zhihu.com/?target=https%3A//blog.csdn.net/u013819513/article/details/88542798
[Neo4j_win_Linux]: https://link.zhihu.com/?target=https%3A//blog.csdn.net/qq_15973399/article/details/106943427
[- Neo4J]: https://zhuanlan.zhihu.com/p/88745411
[http_IP_12348_swagger_default]: https://link.zhihu.com/?target=http%3A//192.168.0.224%3A12348/swagger/%23/default
[21]: https://zhuanlan.zhihu.com/p/357864974
[Link 3]: https://zhuanlan.zhihu.com/p/379202949#ref_1_0
[https_arxiv.org_abs_2105.04387]: https://arxiv.org/abs/2105.04387
[-]: https://zhuanlan.zhihu.com/p/379202949
[GitHub - DeqianBai_KBQA-study_]: https://github.com/DeqianBai/KBQA-study
[GitHub - z814081807_DeepNER_ _NER_ BERT-CRF _ BERT-SPAN _ BERT-MRC_Pytorch]: https://github.com/z814081807/DeepNER
[Ahocorasick]: https://mp.weixin.qq.com/s?__biz=MjM5MjYxNDcyNA==&mid=2650714659&idx=1&sn=e9c8ffc2c1bb4dac57cc925dc1c14c25&chksm=bea9820889de0b1e66e45e1f7e7d7c88b1ae6a1b2792029c5b2a64e6ab22a1c403d046abd113&scene=27