solr（六）增量导入及定时自动更新

Dear 丶 2022-05-24 02:05 346阅读 0赞

接着总结整理，接着来~

**内容：**

**1.设置数据导入时的两种方式：增量导入（delta-import）和全量导入（full-import）的配置**

**2.定时自动增量更新设置**

**一：增量导入实现配置：**

** **

1.  导入jar包，将solr-dataimporthandler-5.3.1.jar和solr-dataimporthandler-extras-5.3.1.jar从solr-7.1/dist/文件夹下copy到solr-7.1/server/solr-webapp/webapp/WEB-INF/lib当中

2.  增加data-config中增量配置，如下：

·        数据源也可以配置在solrconfig.xml中

·        属性type 指定了实现的类型。它是可选的。默认的实现是JdbcDataSource。

·        属性 name  是datasources的名字，当有多个datasources时，可以使用name属性加以区分

·        其他的属性都是随意的，根据你使用的DataSource实现而定。

·        当然你也可以实现自己的DataSource。

我们做如下配置：

<dataConfig>  
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/ceshi" user="root" password="root"/>  
    <document name="salesDoc">  
        <entity name="test"  pk="id"  
                query="SELECT\* from test"  
                deltaQuery="selectid as id from test where update\_time > '$\{dih.last\_index\_time\}'"  
                deltaImportQuery="select id,name,sex,age from test where id='$\{dih.delta.id\}'">  
            <field name="id" column="id" />  
            <field name="textname" column="name"/>  
            <field name="sex" column="sex"/>  
            <field name="age" column="age"/>  
        </entity>  
    </document>  
</dataConfig>

query是获取全部数据的SQL  
deltaImportQuery是获取增量数据时使用的SQL  
deltaQuery是获取pk的SQL  
parentDeltaQuery是获取父Entity的pk的SQL

注意：该处必须包含ID，否则不能进行

**多数据源**

一个配置文件可以配置多个数据源。增加一个dataSource元素就可以增加一个数据源了。name属性可以区分不同的数据源。如果配置了多于一个的数据源，那么要注意将name配置成唯一的。

使用为：

3: 在managed-schema中添加

<field name="textname" type="text_ik" indexed="true" stored="true" />
    <field name="sex" type="string" indexed="true" stored="true" />
    <field name="age" type="string" indexed="true" stored="true" />

4：在solrconfig.xml引入添加的data-config.xml文件

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
        <lst name="defaults">
            <str name="config">./data-config.xml</str>
        </lst>
    </requestHandler>

即可完成增量导入数据；

二：自动增量更新

1 除了将上述两个jar包导入，再将solr-dataimport-scheduler.jar同样导入（scheduler调度，日程安排）

2 在webapps/solr/WEB-INF下web.xml配置监听。如下：

<listener>
        <listener-class>  org.apache.solr.handler.dataimport.scheduler.ApplicationListener
        </listener-class>
    </listener>

3 在solr-home目录下新建conf文件夹，在文件夹下新建dataimport.properties文件，在其里面设置自动增量及全量导入时间，如下：

#################################################
    #                                               #
    #       dataimport scheduler properties         #
    #                                               #
    #################################################
    
    # server BASIC authorization by userName and password
    # format:userName:password
    # if no server BASIC authorization,please set:
    #  authorizationMsg=
    authorizationMsg=userName:password
    
    #  to sync or not to sync
    #  1 - active; anything else - inactive
    syncEnabled=1
    
    #  which cores to schedule
    #  in a multi-core environment you can decide which cores you want syncronized
    #  leave empty or comment it out if using single-core deployment
    syncCores=core1
    
    #  solr server name or IP address
    #  [defaults to localhost if empty]
    #solr服务器的ip地址
    server=localhost
    
    #  solr server port
    #  [defaults to 80 if empty]
    port=8080
    
    #  application name/context
    #  [defaults to current ServletContextListener's context (app) name]
    webapp=solr
    
    #  URL params [mandatory]
    #  remainder of URL
    #增量
    params=/dataimport?command=delta-import&clean=false&commit=true&optimize=false&wt=json&indent=true&verbose=false&debug=false
    
    #  schedule interval
    #  number of minutes between two runs
    #  [defaults to 30 if empty]
    #自动增量更新的时间间隔，单位为分钟，默认为30分。
    interval=1
    
    #  重做索引的时间间隔，单位分钟，默认7200，即5天;
    #  为空,为0,或者注释掉:表示永不重做索引
    reBuildIndexInterval=43200
    
    #  重做索引的参数
    reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&verbose=false&debug=false
    
    #  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；
    #  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期
    reBuildIndexBeginTime=23:59:59

注意：不能存在空格，否则找不到执行的URL。