Elasticsearch使用update_by_query

怼烎@ 2024-04-18 09:26 49阅读 0赞

elasticsearch中有一个方法是批量修改，就是先查询出需要修改的索引记录，然后批量修改。这个本来没什么，但是使用过的都知道，用java来调用这个方法很别扭。

一般来说，我们使用elasticsearch，都建议使用Java Rest Client，就是RestHighLevelClient这个api。这里得从Java Client和Java Rest Client说起了，低版本的elasticsearch提供了ElasticsearchClient的实现，TransportClient，一个传输客户端。在6.4.x 版本中，需要用TransportClient来构建ElasticsearchClient，并且这个client才是实现本文update\_by\_query所需的client。

![20190904205251853.png][]

因为我们要使用UpdateByQueryRequestBuilder，所以必须使用ElasticsearchClient，而这个client只能通过TransportClient来构建，在6.4.x版本中，我们还需要引入transport依赖：

<dependency>
      <groupId>org.elasticsearch.client</groupId>
      <artifactId>transport</artifactId>
      <version>6.4.0</version>
    </dependency>

因为RestClient无法满足构建条件。transportclient连接elasticsearch，使用的端口是9300，而不是和restclient一样使用的是http连接的9200。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70][]

对比一下restclient构建：

![20190904205817352.png][]

elasticsearch开启了两种不同类型的服务端口，transportclient与elasticsearch更加的解耦合。

前面提到了要使用UpdateByQueryRequestBuilder，就必须使用transport依赖。而改依赖里面就是一个简单的实现类PreBuiltTransportClient。

![2019090421024233.png][]

前面废话这么多，无非就是现在elasticsearch版本多，依赖版本也多，而且有的api被丢弃，有的api发生了改变，让我们很难捉摸。

下面我们通过一个简单的示例，了解一下update\_by\_query，首先通过工具以命令的方式看看执行结果：这里构建一个index=students,type=student的索引，有3条记录，每条记录有一个age字段均为18。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1][]

这里通过执行查询然后修改操作，将student的age全部修改为32：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 2][]

操作执行成功，受影响的记录有3条。再次查看所有的索引记录：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 3][]

以上这个步骤是通过命令的方式验证了\_update\_by\_query的可行性，我们现在通过java代码的方式来实现这种操作，前面说了，这个操作需要用到ElasticsearchClient，而ElasticsearchClient需要通过TransportClient来构建。这里直接给出源代码，我的pom.xml依赖是这样的：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 4][]

java代码：

package com.xxx.elasticsearch;
    import java.net.InetAddress;
    import java.util.HashMap;
    import java.util.Map;
    import org.apache.logging.log4j.LogManager;
    import org.apache.logging.log4j.Logger;
    import org.elasticsearch.client.ElasticsearchClient;
    import org.elasticsearch.common.settings.Settings;
    import org.elasticsearch.common.transport.TransportAddress;
    import org.elasticsearch.index.query.QueryBuilders;
    import org.elasticsearch.index.reindex.BulkByScrollResponse;
    import org.elasticsearch.index.reindex.UpdateByQueryAction;
    import org.elasticsearch.index.reindex.UpdateByQueryRequestBuilder;
    import org.elasticsearch.script.Script;
    import org.elasticsearch.script.ScriptType;
    import org.elasticsearch.transport.client.PreBuiltTransportClient;
    
    @SuppressWarnings("unchecked")
    public class UpdateByQueryApp {
    	
    	private static final Logger log = LogManager.getLogger(UpdateByQueryApp.class);
    
    	private static ElasticsearchClient client = null;
    	
    	static{
    		try {
    			client = new PreBuiltTransportClient(Settings.EMPTY)
    					.addTransportAddress(
    							new TransportAddress(InetAddress.getByName("127.0.0.1"),9300)
    					);
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    	
    	public static void update(){
    		UpdateByQueryRequestBuilder updateByQuery = UpdateByQueryAction
    				.INSTANCE.newRequestBuilder(client);
    		Map<String, Object> params = new HashMap<String, Object>();
    		params.put("age", 18);
    		ScriptType type = ScriptType.INLINE;
    		String lang = "painless";
    		String code = "ctx._source.age=params.age";
    		Script script = new Script(type, lang, code, params);
    		BulkByScrollResponse response = updateByQuery.source("students").script(script)
    				.filter(QueryBuilders.termQuery("age", "32"))
    				.abortOnVersionConflict(false)
    				.get();
    		log.info("update : "+response.getUpdated());
    	}
    	
    	public static void main(String[] args) {
    		update();
    	}
    
    }

前面我们通过命令的方式将所有students索引记录的age修改为了32，这里我们就将所有age=32的记录，全部修改为age=18。运行程序，控制台打印信息如下：

2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - no modules loaded
    2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - loaded plugin [org.elasticsearch.index.reindex.ReindexPlugin]
    2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - loaded plugin [org.elasticsearch.join.ParentJoinPlugin]
    2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]
    2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]
    2019-09-04 21:15:02 - org.elasticsearch.plugins.PluginsService.logPluginInfo [main] [INFO ] - loaded plugin [org.elasticsearch.transport.Netty4Plugin]
    2019-09-04 21:15:05 - com.xxx.elasticsearch.UpdateByQueryApp.update [main] [INFO ] - update : 3

表明批量修改成功，可以查看记录：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 5][]

需要注意的是，transportclient和restclient他们构建时所需的端口是不一样的，分别是9300和9200。

[20190904205251853.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7a15111b16ec4034b0a4b126fbe647e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/bdf467ae8d05470cbf12c8fceb859b84.png
[20190904205817352.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8457c1d1fc6146f6b8a47c4c9eed022f.png
[2019090421024233.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/cd6048b3fa2a4ec78251023181db1159.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/56588e882a77421e856c020a0b21de8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/68ecfc0f791e4a769e5d21691d56ccf6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7158d59bf39542ec8f9f62de998d0bd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a85e6ade34b44cb6b7a09bafc20436a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/643bbc9097e34a228a37a607fe181803.png