第二章 solr数据导入

我会带着你远行 2022-07-12 13:36 357阅读 0赞

*  本章简介
 *  创建Core
 *  数据的导入
    
     *  solr管理页面方式导入json
     *  mysql数据导入
     *  配置文件
     *  1 mysql数据准备
     *  1 修改solrconfigxml
        
         *  11 添加数据导入请求节点
         *  12 配置相应的jar文件到lib中
     *  2 添加data-configxml
     *  3 配置managed-schema的field信息
 *  系统重启并导入数据
 *  参考文档

# 本章简介 #

由于solr本身提供的有页面方式数据提交，所以如果只是少量数据我们可以通过页面方式把json数据提交上去。同时我们也可以通过配置实现mysql数据库中把数据导入其中。

不管哪种方式导入数据都要依托一个数据core来进行各种操作，因此必须现有core然后才能进行后面的数据操作。

# 创建Core #

1.solr页面方式创建core（很简单这里就不演示了）  
2.控制台命令创建core

* 控制台通过命令solr create_core -help 可查看创建Core的帮助信息
    
    * 创建一个名为s1的core，输入命令solr create -c s1 -d basic_configs 即可

solr create -c s1 -d basic\_configs

d指定配置文件。创建的core在path\\solr-5.3.0\\server\\solr 中可以找到，在solr的管理界面也可以找到。

![Center][]

# 数据的导入 #

1.solr页面json导入  
2.mysql数据库中导入

## solr管理页面方式导入json ##

json数据如下,以北京七天的天气数据为例

{
                    "fengxiang": "北风",
                    "fengli": "5-6级",
                    "high": "高温 24℃",
                    "type": "晴",
                    "low": "低温 11℃",
                    "date": "3日星期六"
                },
                {
                    "fengxiang": "北风",
                    "fengli": "4-5级",
                    "high": "高温 19℃",
                    "type": "晴",
                    "low": "低温 8℃",
                    "date": "4日星期日"
                },
                {
                    "fengxiang": "无持续风向",
                    "fengli": "微风",
                    "high": "高温 21℃",
                    "type": "晴",
                    "low": "低温 9℃",
                    "date": "5日星期一"
                },
                {
                    "fengxiang": "无持续风向",
                    "fengli": "微风",
                    "high": "高温 21℃",
                    "type": "多云",
                    "low": "低温 10℃",
                    "date": "6日星期二"
                },
                {
                    "fengxiang": "无持续风向",
                    "fengli": "微风",
                    "high": "高温 24℃",
                    "type": "晴",
                    "low": "低温 12℃",
                    "date": "7日星期三"
                },
                {
                    "fengxiang": "无持续风向",
                    "fengli": "微风",
                    "high": "高温 23℃",
                    "type": "晴",
                    "low": "低温 11℃",
                    "date": "8日星期四"
                }
            ],
            "yesterday": {
                "fl": "微风",
                "fx": "无持续风向",
                "high": "高温 23℃",
                "type": "晴",
                "low": "低温 12℃",
                "date": "2日星期五"
      }

在左侧的下拉框选择new\_core后会出现document菜单，点击它，右侧则会出现操作界面，我们复制一条数据为例，执行submit Document，可以看到右侧出现了success说明成功了  
![这里写图片描述][SouthEast]

点击左侧菜单中Query在右侧点击Execute Query可以看到数据都查询出来了

## mysql数据导入 ##

## **配置文件** ##

cd /home/laiding/ide/solr-6.3.0/server/solr

configsets README.txt s1 sc solr.xml zoo.cfg

这里选择s1数据核为测试点

cd s1

conf core.properties data

这便是一个数据核的重要三个部分：

## 2.1. *mysql数据准备* ##

SET FOREIGN_KEY_CHECKS=0;
    -- Table structure for student
    
    DROP TABLE IF EXISTS student;
    CREATE TABLE student ( sid bigint(20) NOT NULL, sname varchar(255) DEFAULT NULL, sage int(11) DEFAULT NULL, saddress varchar(255) DEFAULT NULL, sdescript text, PRIMARY KEY (sid) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    -- Records of student
    
    INSERT INTO student VALUES ('1', '李四', '23', '中华路1号', '好学生');
    INSERT INTO student VALUES ('2', '张三', '34', '华信路3号', '坏学生，经常做坏事！');

## 2.1 *修改solrconfig.xml* ##

进入配置文件夹：s1/conf 。

### 2.1.1 *添加数据导入请求节点* ###

在solrconfig.xml中添加如下代码：

在solrconfig.xml的 之上添加

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
       <lst name="defaults">  
        <str name="config">data-config.xml</str>  
       </lst>  
     </requestHandler>

如下图：在searchhandler注释下添加  
![Center 1][]

### 2.1.2 *配置相应的jar文件到lib中* ###

solr-6.3.0\\dist ，有两个：solr-dataimporthandler-extras-6.3.0.jar,solr-dataimporthandler-6.3.0.jar

同时我们也要把mysql 的驱动mysql-connector-java-5.1.26.jar放入该目录下

找到行

在其下面添加如下行

这样就可以用正则方式把我们需要的jar包导入进去，记得在使用之前需要重启solr服务

## 2.2 *添加data-config.xml* ##

在同目录下（s1/conf）添加文件data-config.xml,并配置数据库查询的链接如下

这个随便取名,其他根据文件名称取

name指表名，pk是主键名，query是查询SQL语句。

field标签解释：

*  column是列名，对应数据库中相关表中字段的名称
 *  name就是solr这边对应的名称,该字段需要在schema.xml中配置好

字段都要一一映射

## 2.3 *配置managed-schema的field信息* ##

最后在conf文件下的managed-schema（6.0之前的版本是schema.xml）配置field信息

原文件如下  
![Center 2][]

这里的field是系统自动生成的需要保留，主键必须有，所以这里依然使用系统默认的id，只要在上面提到的隐射标签中和表中的主键对应即可

系统自带的这个字段注释调，拷贝修改如下主键类型为int

# 3 **系统重启并导入数据** #

solr restart -p 8983 // 重启必须指定端口号

1.  如下图步骤导入数据：  
    数据说明：第四步骤这里应该是student，由于我做了两次测试，这里的图是第一次使用tomcat启动截的图，所以在这里下拉选择你在dataconfig中的entity标签name属性名对应的名称即可。  
    ![Center 3][]
2.  执行完成，点击刷新如下：  
    ![Center 4][]
3.  查询

q里面的参数是我们要查询的字段名称用：分割

执行查询后，右边就会出现查询的结果

非本次测试使用的数据步骤截图，按上文配置文件截图结果请参看图2  
![Center 5][]

上面配置文件截图结果图，步骤和上图相同，查询结果如下  
![Center 6][]

# 参考文档 #

*  solr详细教程[http://blog.csdn.net/u011439289/article/category/2752889][http_blog.csdn.net_u011439289_article_category_2752889]

[Center]: /images/20220710/46034e4f54ac4e83b5983ef394d45a3e.png
[SouthEast]: /images/20220710/ca3ac90c6b2848f288794e91775f26ea.png
[Center 1]: /images/20220710/12a7caffe667441daf6285b8049ab73b.png
[Center 2]: /images/20220710/953c0602bc744d37b460344a30ea2b18.png
[Center 3]: /images/20220710/831cf8d7f8b144b68111b2dd259cd0cb.png
[Center 4]: /images/20220710/fef74a1f3dc74045ace598cc0787220b.png
[Center 5]: /images/20220710/c76350ca3c6649d28ba8c5750fd5db11.png
[Center 6]: /images/20220710/f5b49c21240c4daa85ad6ad33d5a1223.png
[http_blog.csdn.net_u011439289_article_category_2752889]: http://blog.csdn.net/u011439289/article/category/2752889