elasticsearch 7.9.3知识归纳整理（五）之 es的索引生命周期管理

绝地灬酷狼 2024-03-30 15:09 38阅读 0赞

### es的索引生命周期管理 ###

#### 一、常见概念及命令 ####

##### 1.1、概念 #####

> ILM定义了四个生命周期阶段：  
> `Hot`：正在积极地更新和查询索引。  
> `Warm`：不再更新索引，但仍在查询。  
> `cold`：不再更新索引，很少查询。信息仍然需要可搜索，但是如果这些查询速度较慢也可以。  
> `Delete`：不再需要该索引，可以安全地将其删除  
> ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56We6ZuV5aSn5L6gbXU_size_20_color_FFFFFF_t_70_g_se_x_16]

> `rollover`: rollover可以基于大小，文档数或使用期限`创建新的索引`去保存数据

##### 1.2、DSL命令 #####

> `索引的生命周期常用命令：`  
> GET \_ilm/status \# 查看状态  
> POST \_ilm/start \# 启动  
> POST \_ilm/stop \# 停止  
> `POST <index>/_ilm/remove` \# 从index中移除策略
> 
> --------------------
> 
> 查看索引的生命周期状态：(`重点`)  
> `GET <index-name>/_ilm/explain`  
> 例如：  
> `GET /my_cas_history_logs/_ilm/explain`
> 
> --------------------
> 
> `GET _ilm/policy` \#查看全局策略  
> 查看索引的策略应用情况：(`重点`)  
> `GET _iml/policy/<policy-name>`  
> 例如：GET \_iml/policy/cas\_login\_policy  
> 删除策略  
> `DELETE _ilm/policy/<policy_id>` \# 删除指定策略  
> 例如：`DELETE _ilm/policy/pcsp_log_record_policy` \# 删除指定策略
> 
> --------------------
> 
> `模板`  
> 查看模板详情：（`重点`）  
> `GET _template/<template-name>`  
> 例如：GET \_template/pcsp\_log\_record\_template  
> 删除模板  
> `DELETE _template/<template-name>`  
> l例如：`DELETE _template/pcsp_log_record_template`

在实验中可以修改设置，来缩短ILM检测时间间隔。ILM定期运行（indices.lifecycle.poll\_interval），默认是10分钟，检查索引是否符合策略标准，并执行所需的任何步骤。`实际开发中不修改此项。`

PUT /_cluster/settings
    {
      "transient": {
        "indices.lifecycle.poll_interval": "1m" 
      }
    }

#### 二、生命周期的管理步骤 ####

##### 第一步：创建生周期 policy。 #####

#为索引创建ilm规则(可以根据不同场景设置不同规则)
    #设置ilm规则,主分片没50GB或者超过30天或数据条数超过500000000切换一次索引(三者可任意保留无需都留下)，超过360天的索引自动删除
    #max_size:主分片数*50GB
    #common_policy 是自己取的策略名字，自己根据自己合适的取，这里只设置了hot和delete。根据自己业务需求决定是否设置warm、cold
     PUT _ilm/policy/common_policy { 	
     	"policy":{ 		
     		"phases":{ 			
     			"hot":{
    				"min_age":"0ms",
    				"actions":{
    					"rollover":{ #滚动创建新索引的触发条件
    						"max_size":"50gb",  # 当容量超过50gb(根据自己的需求设置)
    						"max_docs": 500000000, # 当总条数超过500000000(根据自己的需求设置)
    						"max_age":"30d" # 当时间超过30d(根据自己的需求设置)
    					},
    					"set_priority":{ #优先级，任一满足条件就执行
    						"priority":100
    					}
    				} 			
    			}, 			
    		"delete":{
       #删除策略
    				"min_age":"360d", #超过360天的数据就自动删除
    				"actions":{
    					"delete":{}
    				} 			
    			} 		
    		} 	
    	}
    }

实战演练：

PUT _ilm/policy/pcsp_log_record_policy
    {
    	"policy":{
    		"phases":{
    			"hot":{
    				"min_age":"0ms",
    				"actions":{
    					"rollover":{
    						"max_size":"50gb",
    						"max_age":"2m",
    						"max_docs":5
    					},
    					"set_priority":{
    						"priority":100
    					}
    				}
    			},
    			"delete":{
    				"min_age":"5m",
    				"actions":{
    					"delete":{}
    				}
    			}
    		}
    	}
    }

##### 第二步：创建索引模板，模板中关联 policy 和别名。 #####

PUT _template/<template_name>
    {
    	"order":0,
    	"index_patterns":["<index_name>-*"], #index_name是自己的索引别名
    	"settings":{
    		"index.lifecycle.name":"common_policy", #这里的common_policy就是上面设置的策略
    		"index.lifecycle.rollover_alias":"<index_name>", #指定索引的rollover别名
    		"index.number_of_replicas":"1", # 设置副本1
    		"index.number_of_shards":"6", # 设置主分片数为6(建议分片数设置为数据节点的倍数个)
    		"index.refresh_interval":"30s",
    		"index.translog.durability":"async",
    		"index.translog.sync_interval":"10s",
    		"index.unassigned.node_left.delayed_timeout":"30m"
    	},
    	"mappings":{},
    	"aliases":{}
    }

实战演练：

PUT _template/pcsp_log_record_template
    {
        
    	"order":0,
    	"index_patterns":["pcsp_log_record-*"],
    	"settings":{
        
    		"index.lifecycle.name":"pcsp_log_record_policy",
    		"index.lifecycle.rollover_alias":"pcsp_log_record",
    		"index.number_of_replicas":"1",
    		"index.number_of_shards":"1",
    		"index.refresh_interval":"30s",
    		"index.translog.durability":"async",
    		"index.translog.sync_interval":"10s",
    		"index.unassigned.node_left.delayed_timeout":"30m"
    	},
    "mappings": {
        
        "properties": {
        
          "address": {
        
            "type": "keyword"
          },
          "age": {
        
            "type": "long"
          },
          "name": {
        
            "type": "text",
    		    "analyzer": "ik_max_word"
          }
        }
        },
    	"aliases":{
        }
    }

##### 第三步：创建符合模板的起始索引，设置别名(即我们统一对外提供服务的索引名)。 #####

#创建<index_name>索引,支持rollover的时候index名称附加年月日时分秒(将url及json里面的<index_name>替换为对应索引名)
    PUT /%3C<index_name>-%7Bnow%2Fm%7Byyyy.MM.dd.HH.mm%7CAsia%2FShanghai%7D%7D-000001%3E
    {
    	"aliases":{
    		"<index_name>":{
    			"is_write_index":true
    		}	
    	}
    }

例如：（我测试的例子）

PUT /%3Cpcsp_log_record-%7Bnow%2Fm%7Byyyy.MM.dd.HH.mm%7CAsia%2FShanghai%7D%7D-000001%3E
    {
        
    	"aliases":{
        
    		"pcsp_log_record":{
        
    			"is_write_index":true
    		}	
    	}
    }

按以上设置完成后就可以查看

测试插入数据：

POST /pcsp_log_record/_doc
     { 
     "name": "王者荣耀1", 
     "age": 19, 
     "address": "长沙岳麓山"
     }

GET /my_cas_history_logs/_search

以上就完成了一个简单的es 的生命周期的管理

#### 三、生命周期的管理的测试 ####

> 在实际开发中,测试老师问如何测试es的生命周期生效了呢？总不能等一年才看到删除效果吧？  
> cas\_policy\_logs 是我的索引名字(别名),以此为例：  
> \#查看索引的生命周期,可以看到当前的索引的策略应用情况 `GET /cas_policy_logs/_ilm/explain`

删除策略
    
    删除索引
    DELETE pcsp_history-3.09.11.17.24-0004
    删除策略
    DELET _ilm/policy/pcsp_history_policy
    删除模板
    DELET _template/pcsp_history

注意：如果用这个方法没有删掉，可以改用kibana图形化工具的操作删除的（`要先删除所有索引才能删除策略`）![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56We6ZuV5aSn5L6gbXU_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
设置es的ILM检测时间间隔,测试完记得改回去，默认10分钟。这仅仅是为了增加es监测频率。

PUT /_cluster/settings
    {
        
      "transient": {
        
        "indices.lifecycle.poll_interval": "30s" 
      }
    }

> `重点:`这里delete指定的是当老的索引index超过rollver的时间，后的delete指定时间才被删掉。而不是索引的创建时间。  
> 如果是索引按指定时间rollver，那删除时间就是rollver中的max\_age+delete指定时间，才被删除。而索引按容量或者文档数量（max\_size、max\_docs）那么就小于  
> max\_age+delete指定时间 就被删除。  
> 官网对于删除的定义是：`Delete the index 30d days after rollover.`(30d是这里设置的删除时间)  
> 总结来说就是:**当这个索引不再写入数据(即创建新索引)开始算在delete设定时间后删除**

查看生命周期的重要命令:

> 查看索引的生命周期状态：(`重点`)  
> `GET <index-name>/_ilm/explain`  
> 例如：  
> GET /my\_cas\_history\_logs/\_ilm/explain  
> 查看索引的策略应用情况：(`重点`)  
> `GET _iml/policy/<policy-name>`  
> 例如：GET \_iml/policy/cas\_login\_policy  
> 查看模板详情：（`重点`）  
> `GET _template/<template-name>`  
> 例如：GET /cas\_log/\_ilm/explain

删完之后重新建策略即可，设置调试，这样就完成了测试。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56We6ZuV5aSn5L6gbXU_size_20_color_FFFFFF_t_70_g_se_x_16]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/373732c938fb4ff7b31c58adffd2beba.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56We6ZuV5aSn5L6gbXU_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3121969edb91448b9f98cc005de36ac3.png