es对日志数据进行索引生命周期管理

港控/mmm° 2022-09-15 05:33 313阅读 0赞

# 前言 #

在采用ELK分布式日志采集平台的时候，一般都会采用ES来存储采集的日志信息。日志信息一般都是持续增长的，是典型的时序数据。  
如果不对采集的日志数据做生命周期管理，很容易导致单个索引体积持续增长、查询速度越来越慢、过期的日志信息浪费空间等问题。

本节主要介绍如果通过ES中的索引生命周期管理机制ILM来实现对日志数据的管理。

# 一、说明 #

es可以用来存储日志，一般日志存储只是短期保存，超过一定时间日志要是能自动删除最好，这样保证索引文档不会过多，查询时效性也能得到保证。

索引的生命周期分为四个阶段：`HOT->WARM->COLD->Frozen->DELETE`。

上面除了HOT为必须的阶段外，其他为非必须阶段，可以任意选择配置。

因为日志索引只要满足自己删除功能，所以下文只配置了HOT与DELETE阶段。

**三步实现完成es生命周期管理：**  
`配置策略(policy)->索引模版(template)->索引(index)`

# 二、实战 #

## 1.配置策略 ##

说明：  
创建策略log\_policy，包含2个阶段hot和delete。  
hot阶段：数据写入首先进入hot阶段，包含一个回滚的动作，当记录条数达到3时滚动一次，创建一个新的后备索引。  
delete阶段：滚动发送后30s，执行删除动作。

PUT _ilm/policy/log_policy
    { 
      "policy": { 
        "phases": { 
          "hot": {                                 
            "actions": { 
              "rollover": { 
                "max_docs":3
              }
            }
          },
          "delete": { 
           "min_age": "30s",                     
            "actions": { 
              "delete": { }                        
            }
          }
        }
      }
    }

## 2.创建索引模板 ##

PUT _index_template/log_template
    { 
      "index_patterns": ["log"],                   
      "data_stream": {  },
      "template": { 
        "settings": { 
          "number_of_shards": 1,
          "number_of_replicas": 1,
          "index.lifecycle.name": "log_policy"     
        }
      }
    }

参数说明：  
index\_patterns 索引匹配模式  
data\_stream 声明是一个数据流  
template 配置模板的settings和mappings属性  
index.lifecycle.name 生命周期策略名称，最核心的属性，要和上文定义的生命周期名称保持一致。

## 3.创建索引模板 ##

**方式一：创建并添加数据**  
创建数据流timeseries，同时向数据流中写入一条数据。`数据中必须包含@timestamp字段信息`

POST log/_doc
    { 
      "message": "logged the request",
      "@timestamp": "1633677855467"
    }

**方式二：仅创建数据流**

PUT _data_stream/log

注意⚠️：  
1、数据流名称必须和索引模板中的index\_patterns匹配。  
2、写入的数据中必须包含@timestamp字段信息

## 4.获取数据流信息 ##

GET _data_stream/log

结果：  
generation 第一代，说明还没有执行滚动  
template 采用的索引模板为log\_template  
ilm\_policy 采用的生命周期管理策略为log\_policy

{ 
      "data_streams" : [
        { 
          "name" : "log",
          "timestamp_field" : { 
            "name" : "@timestamp"
          },
          "indices" : [
            { 
              "index_name" : ".ds-log-000001",
              "index_uuid" : "kRMp8y_2SYyw0mh1Sm713A"
            }
          ],
          "generation" : 1,
          "status" : "YELLOW",
          "template" : "log_template",
          "ilm_policy" : "log_policy"
        }
      ]
    }

## 5.生命周期信息拉取频率 ##

集群参数`indices.lifecycle.poll_interval` 用来控制索引生命周期管理检查符合策略标准的索引的频率，默认为10m。  
所以在索引生命周期策略中配置的动作和条件，并不是即使触发的，而且定期检查触发。  
**打个比方：**  
尽管在策略中设置了hot阶段索引中数据记录大于3条就进行滚动，但其实并不是超过3条就立刻进行滚动。而且ES集群定期检查，当发现索引满足滚动条件后才进行滚动操作。

这里为了方便验证，将检查频率改为10s。

PUT /_cluster/settings
    { 
      "transient": { 
        "indices.lifecycle.poll_interval": "10s" 
      }
    }

## 6.验证 ##

向数据流中写入4条记录，查看数据流生命周期的变化情况。

GET .ds-log-*/_ilm/explain

结果：

{ 
      "indices" : { 
        ".ds-log-000001" : { 
          "index" : ".ds-log-000001",
          "managed" : true,
          "policy" : "log_policy",
          "lifecycle_date_millis" : 1633763085182,
          "age" : "4.06m",
          "phase" : "hot",
          "phase_time_millis" : 1633763085834,
          "action" : "rollover",
          "action_time_millis" : 1633763096800,
          "step" : "check-rollover-ready",
          "step_time_millis" : 1633763096800,
          "phase_execution" : { 
            "policy" : "log_policy",
            "phase_definition" : { 
              "min_age" : "0ms",
              "actions" : { 
                "rollover" : { 
                  "max_docs" : 3
                }
              }
            },
            "version" : 1,
            "modified_date_in_millis" : 1633762512190
          }
        }
      }
    }

添加数据：

PUT log/_bulk?refresh
    {  "create":{  } }
    { "message": "logged the request1","@timestamp": "1633677862467"}
    {  "create":{  } }
    { "message": "logged the request2","@timestamp": "1633677872468"}
    {  "create":{  } }
    { "message": "logged the request3","@timestamp": "1633682619628"}
    {  "create":{  } }
    { "message": "logged the request4","@timestamp": "1633682619628"}

再次查看索引生命周期情况：

GET .ds-log-*/_ilm/explain

执行结果：

{ 
      "indices" : { 
        ".ds-log-000001" : { 
          "index" : ".ds-log-000001",
          "managed" : true,
          "policy" : "log_policy",
          "lifecycle_date_millis" : 1633763525979,
          "age" : "11.91s",
          "phase" : "hot",
          "phase_time_millis" : 1633763085834,
          "action" : "complete",
          "action_time_millis" : 1633763528120,
          "step" : "complete",
          "step_time_millis" : 1633763528120,
          "phase_execution" : { 
            "policy" : "log_policy",
            "phase_definition" : { 
              "min_age" : "0ms",
              "actions" : { 
                "rollover" : { 
                  "max_docs" : 3
                }
              }
            },
            "version" : 1,
            "modified_date_in_millis" : 1633762512190
          }
        },
        ".ds-log-000002" : { 
          "index" : ".ds-log-000002",
          "managed" : true,
          "policy" : "log_policy",
          "lifecycle_date_millis" : 1633763525996,
          "age" : "11.89s",
          "phase" : "delete",
          "phase_time_millis" : 1633763527252,
          "action" : "rollover",
          "action_time_millis" : 1633763536853,
          "step" : "check-rollover-ready",
          "step_time_millis" : 1633763536853,
          "phase_execution" : { 
            "policy" : "log_policy",
            "phase_definition" : { 
              "min_age" : "0ms",
              "actions" : { 
                "rollover" : { 
                  "max_docs" : 3
                }
              }
            },
            "version" : 1,
            "modified_date_in_millis" : 1633762512190
          }
        }
      }
    }

过段时间再次查看，发现只有ds-log-000002。ds-log-000001已经被删除。

{ 
      "indices" : { 
        ".ds-log-000002" : { 
          "index" : ".ds-log-000002",
          "managed" : true,
          "policy" : "log_policy",
          "lifecycle_date_millis" : 1633763696125,
          "age" : "1.45m",
          "phase" : "hot",
          "phase_time_millis" : 1633763697292,
          "action" : "rollover",
          "action_time_millis" : 1633763706877,
          "step" : "check-rollover-ready",
          "step_time_millis" : 1633763706877,
          "phase_execution" : { 
            "policy" : "log_policy",
            "phase_definition" : { 
              "min_age" : "0ms",
              "actions" : { 
                "rollover" : { 
                  "max_docs" : 3
                }
              }
            },
            "version" : 1,
            "modified_date_in_millis" : 1633762512190
          }
        }
      }
    }

说明：  
执行结果说明，随着日志数据的写入，log索引能够自动滚动生存新的索引，滚动操作后超过30s的索引数据会被删除。

**注意⚠️：**  
`索引生命周期管理，控制的粒度是索引级别，而不是索引记录级别。`

所以采用\_bulk指令批量写入数据时，都是向当前的最新的写索引写入数据。不会出现写了3条数据就自动触发滚动然后向新的索引写入第4条的情况。  
查询的时候也会发现所有的数据都是在索引ds-log-000001中。  
当触发delete阶段的删除操作后，会直接删除满足条件的整个ds-log-000001。不会说只删除3条，还有一条保留在ds-log-000002中的情况。

--------------------

# 总结 #

本文主要介绍了通过索引生命周期管理ILM机制实现对日志数据的生命周期的自动化管理。  
1、索引生命周期管理的控制粒度是索引级别，而不是索引记录级别。  
2、索引生命周期的触发并不是实时的，而是定时周期触发检查机制，检查频率大小由indices.lifecycle.poll\_interval控制。  
3、日志数据满足时序数据、连续不断持续增长，只读属性的特点，适合采用数据流保存。