部署农业知识图谱开源项目

小咪咪 2022-12-15 03:21 235阅读 0赞

# 前言 #

项目是上海市《农业信息服务平台及农业大数据综合利用研究》子课题《上海农业农村大数据共享服务平台建设和应用》的研究成果。

该课题是由上海市农业委员会信息中心主持，以“致富农民、服务市民、提高行政管理效能”为目标，充分发挥大数据在农业农村发展中的重要功能和巨大潜力，重点建设上海市级农业农村大数据中心，促进信息资源的共建共享和创新应用。

华东师范大学数据科学与工程学院（以下简称华师大数据学院）作为课题主要参与单位以实现智慧农业为目标，探索农业大数据分析、挖掘和综合应用。华师大课题组在前期国家重点研发计划《大数据知识工程基础理论及其应用研究》研究基础上，在本项目中，基于碎片化农业大数据，构建面向智慧农业的知识图谱及其应用系统。

项目地址见：[https://github.com/qq547276542/Agriculture\_KnowledgeGraph][https_github.com_qq547276542_Agriculture_KnowledgeGraph]

本文介绍整个项目的部署过程，记录和总结部署过程中存在的问题。

## 1. 环境准备 ##

1.  创建python虚拟环境

conda create -n kg python=3.6

1.  激活环境

conda activate kg

退出环境（可选）

conda deactivate

## 2. 安装依赖包 ##

cd至项目根目录，有一个requirement.txt。requirement.txt文件里面记录了当前程序运行所需要的所有安装包和其版本号，作用是方便程序在其他机器上重新构建项目安装所有依赖。

打开requirement.txt文件可以看到里面需要安装的包：

Cython>=0.28.5  
Django>=1.11.7  
thulac>=0.1.2  
py2neo4.1.0  
pyfasttext0.4.5  
pinyin>=0.4.0  
pymongo>=3.6.1

requirement.txt的使用方式如下所示，即可自动下载requirement 中的安装包。

pip install -r requirement.txt

**但需要注意的是我在安装过程中发现使用上述方式安装pyfasttext 安装失败。**

参考这篇文章：https://pypi.org/project/pyfasttext/  
首先直接安装cysignals和pyfasttext.

pip install cysignals
    pip install pyfasttext

然后修改requirement.txt ，删除掉已经安装的pyfasttext. 再安装安装命令

pip install -r requirement.txt

## 3. 安装Jdk1.8 ##

下载 Java  
Java 8 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压  
tar -xzvf jdk-8u131-linux-x64.tar.gz

配置环境变量  
这里通过修改/etc/project文件来配置环境变量

vim /etc/project

在文件末尾添加如下信息

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
    export JRE_HOME=${
        JAVA_HOME}/jre
    export CLASSPATH=.:${
        JAVA_HOME}/lib:${
        JRE_HOME}/lib
    export PATH=${
        JAVA_HOME}/bin:$PATH

执行以下命令，使之生效

source /etc/profile

检查 Java 版本

java -version

## 4. 安装neo4j ##

**下载**  
从官网下载neo4j 的3.5.2版本，下载地址为[neo4j社区版][neo4j]  
**注意：** neo4j 4.1版本要求jdk11 ，neo4j 3.5版本要求jdk8。 所以neo4j 选择3.5的版本。

**解压**

tar zxvf neo4j-community-3.5.22-unix.tar.gz

**修改目录**

mv neo4j-community-3.5.22 neo4j

**配置环境变量**

vi /etc/profile

添加：

export NEO4J_HOME=/opt/neo4j
    export PATH=$PATH:$NEO4J_HOME/bin

执行以下命令，使之生效

source /etc/profile

**修改配置文件**

vi /etc/security/limits.conf

neo4j soft nofile 40000  
neo4j hard nofile 40000

vi /opt/neo4j/conf/  
\#设置远程访问  
dbms.connectors.default\_listen\_address=0.0.0.0  
\#设置数据库名称  
dbms.active\_database=agriculture\_kg.db

**启动服务**

neo4j start

**查看状态**

neo4j status

**停止服务**

neo4j stop

## 导入数据（这部分内容和Github中Readme文件一样） ##

将hudong\_pedia.csv导入neo4j：开启neo4j，进入neo4j控制台。将hudong\_pedia.csv放入neo4j安装目录下的/import目录。在控制台依次输入：

// 将hudong_pedia.csv 导入
    LOAD CSV WITH HEADERS  FROM "file:///hudong_pedia.csv" AS line  
    CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})  
    
    // 新增了hudong_pedia2.csv
    LOAD CSV WITH HEADERS  FROM "file:///hudong_pedia2.csv" AS line  
    CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})

// 创建索引
    CREATE CONSTRAINT ON (c:HudongItem)
    ASSERT c.title IS UNIQUE

以上两步的意思是，将hudong\_pedia.csv导入neo4j作为结点，然后对titile属性添加UNIQUE（唯一约束/索引）

*（如果导入的时候出现neo4j jvm内存溢出，可以在导入前，先把neo4j下的conf/neo4j.conf中的dbms.memory.heap.initial\_size 和dbms.memory.heap.max\_size调大点。导入完成后再把值改回去）*

进入/wikidataSpider/wikidataProcessing中，将new\_node.csv,wikidata\_relation.csv,wikidata\_relation2.csv三个文件放入neo4j的import文件夹中（运行relationDataProcessing.py可以得到这3个文件），然后分别运行

// 导入新的节点
    LOAD CSV WITH HEADERS FROM "file:///new_node.csv" AS line
    CREATE (:NewNode { title: line.title })
    
    //添加索引
    CREATE CONSTRAINT ON (c:NewNode)
    ASSERT c.title IS UNIQUE
    
    //导入hudongItem和新加入节点之间的关系
    LOAD CSV  WITH HEADERS FROM "file:///wikidata_relation2.csv" AS line
    MATCH (entity1:HudongItem{title:line.HudongItem}) , (entity2:NewNode{title:line.NewNode})
    CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2)
    
    LOAD CSV  WITH HEADERS FROM "file:///wikidata_relation.csv" AS line
    MATCH (entity1:HudongItem{title:line.HudongItem1}) , (entity2:HudongItem{title:line.HudongItem2})
    CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2)

**导入实体属性(数据来源: 互动百科)**

将attributes.csv放到neo4j的import目录下，然后执行

LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
    MATCH (entity1:HudongItem{title:line.Entity}), (entity2:HudongItem{title:line.Attribute})
    CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                                
    LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
    MATCH (entity1:HudongItem{title:line.Entity}), (entity2:NewNode{title:line.Attribute})
    CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                                
    LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
    MATCH (entity1:NewNode{title:line.Entity}), (entity2:NewNode{title:line.Attribute})
    CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                                
    LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
    MATCH (entity1:NewNode{title:line.Entity}), (entity2:HudongItem{title:line.Attribute})
    CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2)  
    
    //我们建索引的时候带了label，因此只有使用label时才会使用索引，这里我们的实体有两个label，所以一共做2*2=4次。当然，可以建立全局索引，即对于不同的label使用同一个索引

**导入气候名称:**

将wikidataSpider/weatherData/static\_weather\_list.csv放在指定的位置(import文件夹下)

//导入节点
    LOAD CSV WITH HEADERS FROM "file:///static_weather_list.csv" AS line
    MERGE (:Weather { title: line.title })
    
    //添加索引
    CREATE CONSTRAINT ON (c:Weather)
    ASSERT c.title IS UNIQUE

**导入气候与植物的关系**

将wikidataSpider/weatherData/weather_plant.csv放在指定的位置(import文件夹下)
    //导入hudongItem和新加入节点之间的关系
    LOAD CSV  WITH HEADERS FROM "file:///weather_plant.csv" AS line
    MATCH (entity1:Weather{title:line.Weather}) , (entity2:HudongItem{title:line.Plant})
    CREATE (entity1)-[:Weather2Plant { type: line.relation }]->(entity2)
    导入城市的气候
    
    将city_weather.csv放在指定的位置(import 文件夹下)
    (这步大约需要15分钟左右)
    //导入城市对应的气候
    LOAD CSV WITH HEADERS FROM "file:///city_weather.csv" AS line
    MATCH (city{title:line.city}) , (weather{title:line.weather})
    CREATE (city)-[:CityWeather { type: line.relation }]->(weather)

以上步骤是导入爬取到的关系

**2.下载词向量模型：（如果只是为了运行项目，步骤2可以不做，预测结果已经离线处理好了）**

http://s3-us-west-1.amazonaws.com/fasttext-vectors/wiki.zh.zip  
将wiki.zh.bin放入 KNN\_predict 目录 。

**3.修改Neo4j用户**

进入demo/Model/neo\_models.py,修改第9行的neo4j账号密码，改成你自己的

**4.启动服务**

进入demo目录，然后运行脚本：

sudo sh django_server_start.sh

这样就成功的启动了django。我们进入8000端口主页面，输入文本，即可看到以下命名实体和分词的结果（确保django和neo4j都处于开启状态）

[https_github.com_qq547276542_Agriculture_KnowledgeGraph]: https://github.com/qq547276542/Agriculture_KnowledgeGraph
[neo4j]: https://go.neo4j.com/download-thanks.html?edition=community&release=3.5.22&flavour=unix&_ga=2.169306083.396603084.1602644564-478186589.1602644564