5.ES配置文件梳理详细解释

短命女 2023-10-08 18:24 24阅读 0赞

## 1.安装插件： ##

### 分词器IK： ###

> ik\_smart【粗】 和 ik\_max\_word【细】 是两个不同的拆分粒度，我们一般在生成索引设置细粒度，查询设置粗粒度。

1、下载相同版本的分词器插件 是zip包
    2、在es的安装包下找到plugins文件，解压
    3、修改文件夹名字为ik
    4、重启es
    
    注：词库一般在ik的config下面，.dic收尾的都是

## 2.目录结构说明 ##

## 3.安装完成后目录 ##

/home/es/software/elasticsearch
    |-- bin # 脚本文件
    |-- conf # 配置文件
    |-- root # ES安装根目录
    |   |-- bin
    |   |-- config
    |   |-- ES0 # ES0节点实例
    |   |   |-- bin
    |   |   |-- config
    |   |   |   |-- elasticsearch.yml # ES0节点配置文件
    |   |   |   |-- es-auth
    |   |   |   |   `-- config
    |   |   |   `-- scripts
    |   |   |-- lib -> /home/es/software/elasticsearch/root/lib
    |   |   |-- modules -> /home/es/software/elasticsearch/root/modules
    |   |   `-- plugins -> /home/es/software/elasticsearch/root/plugins
    |   |-- ES1
    |   |-- ES2
    |   |-- ES3
    |   |-- ES4
    |   |-- ES5
    |   |-- ES6
    |   |-- ES7
    |   |-- ES8
    |   |-- ES9
    |   |-- lib
    |   |-- modules
    |   |-- plugins
    |-- run # 脚本运行lock文件

## 3.配置说明 ##

### 1 config.ini配置 ###

# ES集群名称（建议配置内容）
    es_cluster_name=
     
    # ES集群hostname名单(建议不要使用ip)，不同主机名空格隔开（建议配置内容）
    es_host_list=""
     
    # 每台机器ES节点数
    es_node_num=5
     
    # 每个节点数据目录数
    es_node_path_num=2
     
    # 每个ES节点的data存放目录（不同节点分号';'隔开，同一节点不通目录逗号','隔开）（建议配置内容）
    es_data_path_list=
     
     
    # ES Java 垃圾收集器（不可更改）
    es_java_gc=cms
    # ES Java 版本（不可更改）
    es_jdk_version=jdk1.8.0_181
    # ES Java 堆内存大小（单位：m）（可配置内容）
    es_heap_size=
    # ES Java CMS 垃圾收集器老年代（old）开始GC百分比（不可更改）
    es_heap_fraction=75
    # ES Java 年轻代（young）大小（单位：m）（可配置内容）
    es_heap_mn=
    # ES Java eden/survivor 大小比例（不可更改）
    es_heap_ratio=8
    # ES Java 直接缓冲区大小（单位：m，不可更改）（可配置内容）
    es_heap_direct=2048
     
     
    # ES HTTP 端口（不可更改）
    es_http_port=9200
    # ES TCP 端口（不可更改）
    es_tcp_port=9300
    # ES 安装目录（不可更改）
    es_cluster_home=/home/es/software/elasticsearch
    # ES 节点根目录（不可更改）
    es_root_dir=$es_cluster_home/root
    # ES 集群配置文件目录（不可更改）
    es_conf_dir=$es_cluster_home/conf
    # ES 节点监控标志位（打开：true；关闭：false）（不可更改）
    es_node_monitor=true
    # ES 启动用户（不可更改）
    es_run_user=es
    # ES Lucene 加载词典标志位（打开：true；关闭：false）（不可更改）
    es_load_term_dict=false
    # ES Lucene 内存中加载词典文件时长，单位：分钟（不可更改）
    es_dict_mem_retain_minutes=10080
    # ES 日志目录（不可更改）
    es_common_log_path="$es_data_path_prefix"01/$es_cluster_name/logs
    # ES 脚本日志目录（不可更改）
    es_script_log_path=$es_common_log_path/script
    # ES 节点使用processors数量
    es_processors=
    # xpack 安全认证开关
    xpack_security_enabled=false
    # xpack 监控开关
    xpack_monitoring_enabled=false
    # xpack watcher 开关
    xpack_watcher_enabled=false
    # xpack graph 开关
    xpack_graph_enabled=false
    # xpack 认证 LDAP 地址
    xpack_ldap1_url=
    # xpack LDAP 相关参数（不可更改）
    xpack_ldap1_bind_cn=cn=admin,dc=xitong,dc=qihoo,dc=com
    xpack_ldap1_bind_password=root123456
    xpack_user_search_base_dn=dc=xitong,dc=qihoo,dc=com
    xpack_user_search_attribute=cn
    xpack_group_search_base_dn=dc=xitong,dc=qihoo,dc=com
    # ES 索引日期格式化标准
    date_format=%Y%m%d
    # ES 索引日期模式
    date_pattern=20[0-9]{
        2}[0-9]{
        2}[0-9]{
        2}
    # ES 索引优化后重新开闭标志位
    reopen_index_after_optimize=false
    # ES 索引merge退出时间，单位：小时
    es_merge_quit_after=7
    # ES 根据segment关闭索引
    close_index_enabled=false
    segment_memory_ratio=0.3
    index_retain_days=7
    date_interval=""

### 2 elasticsearch.ini配置 ###

# 集群名称
    cluster.name: "$es_cluster_name"
    # 节点名称
    node.name: es.$es_local_addr.$i
    # 是否有资格被选为主节点
    node.master: $node_master
    # 该节点是否存储索引数据，默认为true
    node.data: $node_data
    # 索引数据的存储路径，可以设置多个，逗号隔开
    path.data: $path_data
    # 日志文件的存储路径
    path.logs: $path_logs
    # tcp端口
    transport.tcp.port: $(expr $es_tcp_port + $i)
    # HTTP端口
    http.port: $(expr $es_http_port + $i)
    # 跨域资源共享开关
    http.cors.enabled: true
    # 允许的请求源
    http.cors.allow-origin: http://$es_master_node
    # bootstrap内存锁
    bootstrap.memory_lock: false
    # 绑定服务的主机地址
    network.host: $es_local_addr,127.0.0.1
    # 集群中自动发现其他节点的ping超时时间
    discovery.zen.ping_timeout: 60s
    # 故障检测：ping的时间间隔
    discovery.zen.fd.ping_interval: 60s
    # 故障检测：ping响应超时时间
    discovery.zen.fd.ping_timeout: 60s
    # 故障检测：ping重试次数
    discovery.zen.fd.ping_retries: 10
    # 形成集群可见node_master节点的最小数量
    discovery.zen.minimum_master_nodes: $es_minimum_master_node
    # 节点发现的主机列表
    discovery.zen.ping.unicast.hosts: $es_unicast_hosts
    # 进行恢复需要数据节点或主节点加入集群的数量
    gateway.recover_after_nodes: $es_total_node_num
    # 集群期待的节点数量没有达到，进行恢复的等待时间
    gateway.recover_after_time: 5m
    # 集群中期待的节点（数据节点、主节点）数量
    gateway.expected_nodes: $es_total_node_num
    # 索引存储节流:每秒最大字节数（6.0中不再使用）
    indices.store.throttle.max_bytes_per_sec: 5120mb
    # 索引恢复：每秒最大字节数
    indices.recovery.max_bytes_per_sec: 2000mb
    # fielddata的最大缓存量
    indices.fielddata.cache.size: 30%
    # fielddata的断路器限制
    indices.breaker.fielddata.limit: 35%
    # 请求断路器的限制
    indices.breaker.request.limit: 20%
    # 父级断路器总限制
    indices.breaker.total.limit: 55%
    # 启用或禁用分配特定种类的分片
    cluster.routing.allocation.enable: $es_cluster_routing_flag
    # 分片分配磁盘限制
    cluster.routing.allocation.disk.threshold_enabled: true
    # 磁盘使用的低水位，大于该值，ES不会将新分片分配到该节点
    cluster.routing.allocation.disk.watermark.low: 97%
    # 磁盘使用的高水位，大于该值，ES尝试将该节点的分片移动到其他节点
    cluster.routing.allocation.disk.watermark.high: 97%
    # ES检查集群中每个节点磁盘用量的频率
    cluster.info.update.interval: 3m
    # 初始化数据恢复的并发恢复线程数
    cluster.routing.allocation.node_initial_primaries_recoveries: 100
    # 添加删除节点或负载均衡时并发恢复线程的个数
    cluster.routing.allocation.node_concurrent_recoveries: 20
    # 执行分片平衡的最小优化值（非浮点数）
    cluster.routing.allocation.balance.threshold: 3
    # 节点分配分片总数权重（浮点数）
    cluster.routing.allocation.balance.shard: 0.45f
    # 节点分配每个索引的分片数的权重 （浮点数）
    cluster.routing.allocation.balance.index: 0.55f
    # 线程池批量操作队列大小
    thread_pool.bulk.queue_size: 500
    # 节点的机器ID
    node.attr.machine_id: $es_local_addr
    # 搜索请求命中分片的限制
    action.search.shard_count.limit: 12000
    # ES权限控制目录
    #es.auth.dir: "$es_auth_dir"
    # ES权限配置目录
    #es.auth.config.dir: "$es_auth_config_dir"
    # ES权限控制开关
    #es.auth.enabled: $es_auth_enabled
    # 索引缓冲区的最小值
    indices.memory.min_index_buffer_size: 5gb
    # 索引缓冲区的最大值
    indices.memory.max_index_buffer_size: 5gb
    # 是否自动创建索引
    action.auto_create_index: false
    # 返回结果是否高亮所有字段
    highlight.all: $highlight_all
    # create_index_action前缀开关
    rest.api.prefix.enabled: true