Java之ES批量处理

浅浅的花香味﹌ 2021-09-23 08:56 971阅读 0赞

趁着有时间，下面来继续记录并分享ES相关：

具体实现如下所示：

/**
    *	create by wxy_jdhk
    */
    public class ElasticSearchUtils {
    	//批量处理
    	public void getBulkProcessor(TransportClient client) {
    		BulkProcessor bulkProcessor = BulkProcessor.builder(
    				client, //es 客户端
    				new BulkProcessor.Listener() {
    					//在bulk执行时调用
    					public void beforeBulk(long arg0, BulkRequest arg1) {
    						// TODO Auto-generated method stub
    						
    					}
    					//在bulk失败或异常时调用
    					public void afterBulk(long arg0, BulkRequest arg1, Throwable arg2) {
    						// TODO Auto-generated method stub
    						
    					}
    					//在bulk异常之后执行
    					public void afterBulk(long arg0, BulkRequest arg1, BulkResponse arg2) {
    						// TODO Auto-generated method stub
    						
    					}
    				})
    				//每10000次请求执行一次bulk
    				.setBulkActions(10000)
    				//每5mb刷新一次bulk
    				.setBulkSize(new ByteSizeValue(5, ByteSizeUnit.MB))
    				//每5秒钟刷新一次
    				.setFlushInterval(TimeValue.timeValueSeconds(5))
    				//0：只允许一个请求执行
    				//1：允许创建新的请求
    				.setConcurrentRequests(1)
    				.setBackoffPolicy(
    						BackoffPolicy.exponentialBackoff(TimeValue.timeValueMillis(100), 3)
    				).build();
    		//向iBulkProcessor添加示例
    		bulkProcessor.add(new DeleteRequest("twitter", "_doc", "2"));
    		//关闭批量处理
    		try {
    			bulkProcessor.awaitClose(10, TimeUnit.MINUTES);
    		} catch (InterruptedException e) {
    			e.printStackTrace();
    		}
    		bulkProcessor.close();
    	}
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，971人围观）

还没有评论，来说两句吧...

相关阅读

相关 Elasticsearch之批量处理。

检索多个文档像Elasticsearch一样，检索多个文档依旧非常快。合并多个请求可以避免每个请求单独的网络开销。如果你需要从Elasticsearch中检索多个文档

女爷i/ 2024年02月18日 15:10/ 0 赞/ 40 阅读

相关 es批量查询

在es中查询数据，可以根据id或者其他的字段名称单条查询，比如像像下面的这样，通过id查询， ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

不念不忘少年蓝@/ 2023年10月18日 20:53/ 0 赞/ 45 阅读

相关 Java批量处理数据

要求：共1000条数据，第一次批量插入100条，第二次批量插入101到200条，依次插入数据；实现方式这里选择了两种常用的方式，都是使用List操作；第一种实现思

素颜马尾好姑娘i/ 2023年02月18日 14:13/ 0 赞/ 10 阅读

相关 Elasticsearch(037)：es中批量操作之bulk

一、bulk概述 1.1 bulk的基础概念 `bulk`是`es`提供的一种`批量增删改`的操作API。 1.2 bulk的语法 `bulk`对`JSON

￡神魔★判官ぃ/ 2022年12月17日 08:50/ 0 赞/ 720 阅读

相关 Elasticsearch(036)：es中批量操作之mget(批量查询)

mget(批量查询) 一、介绍 `mget`是`es`提供的一种批量的读取操作的API。 `mget` API允许根据索引，`类型（可选）`和`id（以及可能的路

分手后的思念是犯贱/ 2022年12月17日 05:27/ 0 赞/ 520 阅读

相关 Hibernate学习之批量处理

测试环境： windows8 MySQL5.6 Hibernate3 Hibernate批量插入使用 Hibernate 将一百万条记录插入到数据库的一个很天

柔光的暖阳◎/ 2022年08月08日 00:44/ 0 赞/ 141 阅读

相关 java批量执行之分批处理

相关：在处理一些与数据库相关的操作的时候，通常把一些操作合并能够起到优化的效果，并且数量越大，批量执行的效率比一条一条执行的效率要快的多。批量插入比单次插入快比

比眉伴天荒/ 2022年05月12日 06:54/ 0 赞/ 241 阅读

相关 es 之批量处理 bulk api

简介说明：The bulk API makes it possible to perform many index/delete operations in a

忘是亡心i/ 2022年04月23日 08:52/ 0 赞/ 445 阅读

相关 ElasticSearch(ES)JAVA批量更新批量插入——就一步

注：此Es处理方式是基于Spring-data 集成的 1. 批量更新 public void allChangeCart(CartsSearchDTO ca

男娘i/ 2021年12月04日 00:41/ 0 赞/ 1690 阅读

相关 Java之ES批量处理

趁着有时间，下面来继续记录并分享ES相关：具体实现如下所示： / create by wxy_jdhk / public class E

浅浅的花香味﹌/ 2021年09月23日 08:56/ 0 赞/ 972 阅读