【知识图谱】基本概念&数据&综合应用&具体使用

我就是我 2022-09-16 13:20 88阅读 0赞

### 【知识图谱】基本概念&数据&综合应用&具体使用 ###

*  1.基本概念
 *   *  1.1知识图谱组成
     *  1.2 应用
     *   *  1.2.1 应用一 医疗领域方向检索
         *  1.2.2 应用二 金融领域反欺诈-金融知识图谱
         *  1.2.3 推荐系统
 *  2.数据
 *   *  2.1 文本数据
     *  2.2 难点
     *  2.3 方法
     *   *  2.3.1 分句、分词、主谓关系
         *   *  2.3.2 打标签
         *  2.3.3 找关系
         *   *  2.3.3.1 实体关系
 *  3.知识图谱综合应用——跳出nlp
 *   *  3.1 神经网络引入
     *   *  3.1.1 传统图像猫狗识别
     *  3.2 视觉领域：与图卷积结合
 *  4 知识图谱的使用
 *   *  4.1 算法固定，难点是根据场景构建特定图谱
     *  4.2 报错好解决，选Neo4j

# 1.基本概念 #

知识图谱主要作用：查找和匹配  
难点：怎么构建  
知识图谱不只是个图模型，拿到点后能不能进行预测，分析，能不能让这个ai基于这个图模型做出诊断与分析工作，**graph embedding**是最核心的事情了，将点参数化

## 1.1知识图谱组成 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
**<例>** 例如上图的人，人有关键点，组成局部信息，有人和骨架图之后，怎么综合利用图模型进行分析。淘宝出现的数据，在抖音会出现；去上海看房子，青岛的，成都的也开始打电话了。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
<例>挑出实体，寻找实体的联系和属性。  
**<引申>** 不光视觉，听觉还有文本，尽可能的把知识融合在一起，形成一个图模型，有复杂的关系网络。把所有的人情世故，关系融合在一起，则是知识图谱。图模型把所有信息连接起来了。

## 1.2 应用 ##

### 1.2.1 应用一 医疗领域方向检索 ###

方式：利用历史数据，使看病更简单  
**目的**：便于检索  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 3]

### 1.2.2 应用二 金融领域反欺诈-金融知识图谱 ###

可以从下载大量贷款app等相关信息入手  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 4]

### 1.2.3 推荐系统 ###

从实体角度出发etc.  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 5]

# 2.数据 #

## 2.1 文本数据 ##

文本数据是最好获得的，故知识图谱是nlp的重要应用，做知识图谱需要用到大量nlp技术。

## 2.2 难点 ##

可能是图片可能是音频视频等非结构化数据  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 6]

## 2.3 方法 ##

有许多开源的nlp工具包，语义识别，角色标注，时间，地点，人名等（哈工大做nlp较多）。首先先打标签。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 7]

### 2.3.1 分句、分词、主谓关系 ###

关于标注，有很多是可以用工具包去做

#### 2.3.2 打标签 ####

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 8]

### 2.3.3 找关系 ###

#### 2.3.3.1 实体关系 ####

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 9]

# 3.知识图谱综合应用——跳出nlp #

比如侦察凶杀案，进行推理工作。

## 3.1 神经网络引入 ##

传统上输入向量输出结果，每个嫌疑人作为一个向量输入节点。那么如何将一个节点输入一个向量啊。  
除了传统的搜索，现在知识图谱尝试做推理预测工作。比如图识别，embedding把每一个节点编码成一个向量，比如一个图识别，首先将识别道的点进行编码，除了本身固有的属性（实物本身的身高，体重）。

### 3.1.1 传统图像猫狗识别 ###

识别出了点后进行二分类，识别是猫是狗

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 10]  
用到图模型就得用特征  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 11]

## 3.2 视觉领域：与图卷积结合 ##

对人的局部特征关节点特征提出来，需要提出局部特征（如头、肩膀）与联系，行动过程中，会有联系。比如人在运动的时候，头和肩膀的关系比较大，就不是简单的局部特征的卷积。再进行一些融合，在图模型中进行卷积，即也有graph embedding。  
图匹配，两张图不同角度的关节点信息进行一对一的匹配，但有的会有遮挡，则不完全一对一  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 12]  
**怎么样做特征**，不仅仅是构建图，更重要的是我可以用这个图做个什么事。如果能把其中**每个实体用向量表示出来**就无敌了。  
检测，分析，识别算法用上去，想玩什么玩什么。  
对于知识图谱不仅仅是用nlp技术构建一个图谱更重要的是利用这个做事。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 13]

# 4 知识图谱的使用 #

## 4.1 算法固定，难点是根据场景构建特定图谱 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 14]

## 4.2 报错好解决，选Neo4j ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 15]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d5c2be9cfe084b158ff5d506b8658bea.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/d9f4c3cbf54c4e92976e792efbd95470.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/89637f617b894b82ad7fb0a9d899d32f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/f2b00fe218734265b3a628a7d1470c16.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/0bcecff0ec924760b41f8a543b6e0c1a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/2c861808649044b199fea52ebee4dfff.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/f4b7b77c21024668bb97f6042f3e07ba.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/c50ab876ee534498a8f822e9cd91a713.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/d447de1094fc463fb602a1b807ff3053.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/bbf95429d2d840099ea32cede51f26f9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 10]: /images/20220828/6deb1fde70b548da8d76f168c0084e4e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 11]: /images/20220828/77f7d0e985c84e87987cad8b17fce04b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 12]: /images/20220828/f5d4185adbaa4606accececada4d1440.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 13]: /images/20220828/64f413dee7cf4199b0154e9c41f613f0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 14]: /images/20220828/8ef8e4d6ac0246449ab126df660c8af9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LiA5ouzTWFyeA_size_20_color_FFFFFF_t_70_g_se_x_16 15]: /images/20220828/f40807918982415a99fe8c1668d98bf1.png