Solr 集群配置 DataImportHandler 导入

悠悠 2022-05-27 14:13 208阅读 0赞

## 修改zk集群配置 ##

如同前文  
[部署Zookeeper 加 solr-cloud 群集一][Zookeeper _ solr-cloud]  
[部署Zookeeper 加 solr-cloud 群集二][Zookeeper _ solr-cloud 1]  
中 `zk` 统一管理集群 `colelction` 下所有 `core` 的方法，修改 一个`solrhome` 下的 `conf` 中的 下面三个文件  
![这里写图片描述][70]

### solrconfig.xml ###

1 添加 `mysql-input` 的 `lib` 引用  
`<lib dir="/opt/app/ctpsp/" regex="solr-dataimporthandler-.*\.jar" />`

2 添加 `input` 包的配置文件配置

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
        　     <lst name="defaults">
        　        <str name="config">data-config.xml</str>
        　     </lst>
        　</requestHandler>

3 这里jar包如下：  
![这里写图片描述][70 1]

下载地址：[Data Import Request Handler][]

### data-config.xml ###

这里配置的是数据库连接和sql全量更新、增量更新的操作

<?xml version="1.0" encoding="UTF-8"?>
    <dataConfig>
        <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://Ip/databaseName" user="数据库用户" password="数据库密码" batchSize="-1" />
        <document name="documentName">
            <entity name="entityName，这个是在solrAdmin后台可以选的"
                    pk="RECORD_NUMBER"
                    query="全量更新语句"
                    deltaImportQuery="增量更新语句 '${dataimporter.RECORD_NUMBER}'">
                <field column="id" name="id"></field>
                
                <field column="RECORD_NUMBER" name="RECORD_NUMBER"></field>
                ...
                ...
                ...
                <field column="COLLECT_COUNT" name="COLLECT_COUNT"></field>
    
            </entity>
        </document>
    </dataConfig>

这里注意 在solr群集导入数据里面 ，`filed` `id` 是必须的，不然会报下面的错误， `Document is missing mandatory uniqueKey field: id` ，这和单机版的 `Solr` 有些不同。

这里 `sql` 增量和全量语句中用到的 `filed` ，在 `managed-schema` 中需要配置，下面会写，增量中用到的 `'${dataimporter.RECORD_NUMBER}'` 是固定写法，用来存储变量用于增量更新。

### managed-schema ###

将 上面用到的 `filed` 在这里配置

## 提交 `dataimporthandler-conf` 给 `zk` 集群 ##

这里就不再赘述提交 `conf` 过程了，可以参考前面集群配置提交配置文件的过程。同样是只需要在一个zk节点提交 之前配置好的 `solrhome` 的 `conf` 就可以了，目的是创建一个带 `dataimporthandler` 的 `conf`配置文件，在 collection 导入数据时候，可以用。

## 导入数据 ##

创建使用刚刚创建的 配置文件来创建一个 `Collection`  
![这里写图片描述][70 2]

开始导入  
![这里写图片描述][70 3]

查询导入结果  
![这里写图片描述][70 4]

可以去其他的shard 和 replica 看，应该都是有 数据了，我就不截图了，集群 dataimport 完成。

[Zookeeper _ solr-cloud]: https://www.leon0204.com/article/129.html
[Zookeeper _ solr-cloud 1]: https://www.leon0204.com/article/130.html
[70]: /images/20220527/07b92c0015f04cec8b193c2c20fce3d7.png
[70 1]: /images/20220527/ccdfbb6292a94403af6351c807a56cec.png
[Data Import Request Handler]: https://wiki.apache.org/solr/DataImportHandler
[70 2]: /images/20220527/2c6b240820b24a5fbda8e42566cf5740.png
[70 3]: /images/20220527/f3494cdd66b345ff9aaadabb16a21171.png
[70 4]: /images/20220527/e606ee0cc5c44b1499e0aded9e8b4f91.png