solr（四）solr数据导入

- 日理万妓 2022-05-25 11:36 576阅读 0赞

上一次说了solr添加配置ik分词器及schema文件分析，如果要了解的童鞋，可以查看我的上篇[solr（三）solr添加配置ik分词器及schema文件分析][solr_solr_ik_schema]，接下啦继续，下面是如何将数据库的数据导入到solr索引库中，具体操作如下~

**内容：**

**1.      Solr链接数据库**

**一：DataImport步骤：**

1.  导包

将solr-dataimporthandler-5.3.1.jar和solr-dataimporthandler-extras-5.3.1.jar从solr-5.3.1/dist/文件夹下copy到solr-5.3.1/server/solr-webapp/webapp/WEB-INF/lib当中

2.  修改managed-schema文件，将其修改为schema.xml文件

原因：https://blog.csdn.net/jiangchao858/article/details/52518190

3.  修改solrconfig.xml配置文件

增加一段添加数据库数据的xml，如下：

在solrconfig中添加 data-config时  \*\*\*\*\*\*\*\*\*写中文注释会报错编译

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">   
        <lst name="defaults">   
            <str name="config">./data-config.xml</str>   
        </lst>   
    </requestHandler>

4.  编写data-config.xml文件

在solrhome下的core中/conf/下创建data-config.xml文件，配置访问数据库的用户名、密码、查询语句，column对应数据库中字段、name对应solr的schema.xml中字段（根据实际情况），文件内容如下：

5.  在schema.xml添加field（根据实际情况），如下

会出现连接数据库时错误，表示找不到JDBC的驱动文件

weebapp下lib 下添加  mysql-connector-java-5.1.30.jar 包

solr import数据时报错 miss mandatoryuniquekey fieId id:

原因：在solr建立索引的时候，如果你提交的doc中没有 id 这个Field，结果Solr在建立索引时候出现如该错误：

主要是因为Solr 的managed-schema配置文件中定义了<uniqueKey>id</uniqueKey>，默认了ID 是唯一的。如果你的索引字段不需要ID,就可以把这个改掉.

过程中可能遇到的问题（整理）（没有遇到的话可忽略）：

1、如下，说明在schema.xml重复定义了id，把它屏蔽掉，重启服务   
collection: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core collection: \[schema.xml\] Duplicate field definition for ‘id’ \[\[\[id\{type=string,properties=indexed,stored,omitNorms,omitTermFreqAndPositions,sortMissingLast,required, required=true\}\]\]\] and \[\[\[id\{type=int,properties=indexed,stored,omitNorms,omitTermFreqAndPositions,required, required=true\}\]\]\]. Schema file is /Users/user/lcg/Web/solrServer/solr-5.2.1/server/solr/collection/conf/schema.xml

2、如下，说明没有在schema.xml文件中定义name字段   
collection: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core collection: default search field ‘name’ not defined or not indexed. Schema file is /Users/user/lcg/Web/solrServer/solr-5.2.1/server/solr/collection/conf/schema.xml

3、`<field name="name" type="string" indexed="true" stored="true">`后面少了个/，应该为`<field name="name" type="string" indexed="true" stored="true"/>`，修改完之后，重启服务   
collection: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core collection: org.xml.sax.SAXParseException; systemId: solrres:/schema.xml; lineNumber: 1028; columnNumber: 12; 元素类型 “field” 的结束标记必须以 ‘>’ 分隔符结束。 Schema file is /Users/user/lcg/Web/solrServer/solr-5.2.1/server/solr/collection/conf/schema.xml

[solr_solr_ik_schema]: https://blog.csdn.net/peach_garden/article/details/80302982