ElasticSearch--线程池(ThreadPool)--使用/设置

以你之姓@ 2023-09-29 17:04 14阅读 0赞

原文网址：[ElasticSearch--线程池(ThreadPool)--使用/设置\_IT利刃出鞘的博客-CSDN博客][ElasticSearch--_ThreadPool_--_IT_-CSDN]

## 简介 ##

**说明**

本文介绍ElasticSearch的线程池的配置。

ES每个node都有多个线程池来管理内存占用，线程池都有一个queue来缓存需要处理的request而不是直接丢弃。

ES的线程池有点儿类似于[Java中的线程池][Java]。

**官网网址**

[Thread pools | Elasticsearch Guide \[8.4\] | Elastic][Thread pools _ Elasticsearch Guide _8.4_ _ Elastic]

> **粉丝福利**：有很多粉丝私信问我有没有Java的面试及PDF书籍等资料，我整理一下，包含：**真实**面试题汇总、简历模板、PDF书籍、PPT模板等。这些是**我自己也在用**的资料，面试题是面试官问到我的问题的整理，其他资料也是我自用的，真正**实用、靠谱**。资料可以从这里免费获取：[资料地址][Link 1]

## 线程池的类型 ##

### 1. fixed ###

fixed线程池是有固定线程数量的线程池，它有一个固定大小的queue来缓存处理不过来的任务。

设置一个fixed线程池：

thread_pool:
        write:
            size: 30
            queue_size: 1000

queue\_size的值如果不设置的话默认为-1，代表无限大。当queue被填满的时候请求就会被丢弃掉。

### 2. fixed\_auto\_queue\_size ###

这是实验性的类型特性，fixed\_auto\_queue\_size的thread的数量是fixed，但是queue的大小是根据一些规则进行变动的。

设置一个fixed\_auto\_queue\_size线程池:

thread_pool:
        search:
            size: 30
            queue_size: 500
            min_queue_size: 10
            max_queue_size: 1000
            auto_queue_frame_size: 2000
            target_response_time: 1s

*  queue\_size
    
     *  初始化的queue的size数量
 *  auto\_queue\_frame\_size
    
     *  衡量是否需要扩容的请求数。
 *  target\_response\_time
    
     *  当任务的处理时间（加上排队时间）大于1s的时候会对queue进行缩容，来避免大量的超时处理。

### 3. scaling ###

这类线程池的thread的数量是可以基于负载的大小动态变化的。

设置一个scaling的线程池：

thread_pool:
        warmer:
            core: 1
            max: 8
            keep_alive: 2m

keep\_alive 指定了闲置的线程池达到2m会被回收。

## 重要的线程池 ##

### 1. generic线程池 ###

普通线程池，一般用来运行后台任务或者discovery等，是一个大小可以scaling的线程池。

### 2. search线程池 ###

针对 count/search/suggest 操作。

线程池的类型是 fixed\_auto\_queue\_size 线程池的大小是固定值 int((\# of available\_processors \* 3) / 2) + 1, 有一个可以伸缩的queue， queue size 初始值是 1000。

### 3. search\_throttled线程池 ###

应对count/search/suggest/get 操作，但是这些对应的索引是search\_throttled indices。

线程池的类型是 fixed\_auto\_queue\_size，thread 的size 是 1, queue\_size 的初始值为 100.

### 4. get线程池 ###

get操作对应的线程池。

Thread pool 的类型是 fixed，size 是 available processors，queue\_size 是 1000.

### 5. analyze线程池 ###

analyze 请求对应的线程池。

Thread pool 的类型是 fixed，size 是1，queue size 是16.

### 6. write线程池 ###

这个线程池对应处理的是index/delete/update请求和bulk请求。

Thread pool 的类型是 fixed，size 是 available processors，queue size 是 200。thread pool最大的可设置的值为1+ available processors

### 7. snapshot线程池 ###

这个线程池对应处理的是snapshot/restore操作。

Thread pool 的类型是 scaling，size 最大值是min(5, (\# of available processors)/2)，每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

### 8. warmer线程池 ###

这个线程池对应处理的是segment warm-up 操作。

Thread pool 的类型是scaling，size 最大值是min(5, (\# of available processors)/2), 每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

### 9. refresh线程池 ###

这个线程池对应处理的是refresh 操作。

Thread pool 的类型是scaling，size 最大值是min(10, (\# of available processors)/2)，每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

### 10. listener线程池 ###

这个线程池对应处理的是java client的操作。

Thread pool 的类型是scaling,size 最大值是min(10, (\# of available processors)/2), 每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

## Processors setting ##

设置elasticsearch动态监测到的processor的数量。

这个一般情况下不用设置，只有由于操作系统的原因可能导致检测不准，或者因为对应的服务器上还有其他服务，想要缩小ES使用的cpu核数才会使用。

[ElasticSearch--_ThreadPool_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/126517444
[Java]: https://knife.blog.csdn.net/article/details/120518379
[Thread pools _ Elasticsearch Guide _8.4_ _ Elastic]: https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html
[Link 1]: https://app.yinxiang.com/fx/d2ac6ff4-94c5-4e5f-9d4f-f5dfc344ede6