【Elasticsearch】Curator 从入门到实战

﹏ヽ暗。殇╰゛Y 2022-08-31 12:21 265阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70]

# 1.概述 #

转载：[Curator 从入门到实战][Curator]

Curator 是elasticsearch 官方的一个索引管理工具，可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。

# 2.场景 #

比如，出于读写性能的考虑，我们通常会把基于时间的数据按时间来创建索引。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 1]  
当数据量到达一定量级时，为了节省内存或者磁盘空间，我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api，放到crontab中定期执行。这样虽然可以达到目的，但是脚本多了之后会变得难以维护。

Curator是如何解决这类问题的呢？我们一步一步来：

# 3.安装 #

首先，Curator是基于python实现的，我们可以直接通过pip来安装，这种方式最简单。

pip install elasticsearch-curator

# 4.基本配置 #

接下来，需要为 Curator 配置es连接:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 2]  
其中hosts 允许配置多个地址，但是只能属于同一个集群。

这边只列举了最基本的配置，官方文档中包含了更详细的配置。

# 5.动作配置 #

然后需要配置我们需要执行的动作，每个动作会按顺序执行：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 3]

*  action 定义了需要执行的动作，curator支持十多种动作，可以在官方文档查看完整的动作列表。
 *  options 定义了执行动作所需的参数，不同动作的参数也不尽相同，具体文档中都有写明。
 *  filters 定义了动作的执行对象，通过设置filter，可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中，delete\_indices下定义了两个filters：
    
     *  模式匹配：匹配前缀为log的索引
     *  “年龄”匹配：根据索引名中“%Y.%m.%d”时间格式，过滤出3天以前的索引

curator支持十多种filter，可以在官方文档查看完整列表。

# 6.执行 #

最后，我们通过curator命令行工具来执行：

curator --config  /etc/curator/curator.yml 
     /etc/curator/actions/maintain_log.yml

得到命令行输出：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 4]  
从日志中可以看到，我们已经成功创建了隔天的索引，并删除了28号以前的索引。

# 7.定时执行 #

配置好curator后，还需要配置定时任务

使用 crontab-e编辑crontab，

添加一行：

0 23 \* \* \*  
curator --config /etc/curator/curator.yml  
/etc/curator/actions/maintain\_log.yml >> /var/curator.log 2> &1

crontab配置中的第一段是执行的周期，6个值分别是“分 时 日 月 周”，\*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。

# 8.单个执行 #

除了定时任务，我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了 curator\_cli的命令来执行单个action，比如我们想对所有log开头的索引做快照，使用一条命令即可完成：

curator_cli snapshot --repository repo_name 
    --
    filter_list 
    { 
    "filtertype"
    :
     
    "pattern"
    ,
    "kind"
    :
     
    "prefix"
    ,
     
    "value"
    :
     
    "log"
    }

是不是特别方便？

执行流程

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70]: /images/20220829/05eeec73e7054f829de2471c461c7d42.png
[Curator]: https://mp.weixin.qq.com/s/4XUnIApILBSORPsfkt5XCw
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 1]: /images/20220829/78994562ea104ec6bde58077e45feef6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 2]: /images/20220829/24734b9a589d494db0fa5695570cd419.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 3]: /images/20220829/6c4a78be62634d75bcd4f0e898e07775.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMzgzNDM1_size_16_color_FFFFFF_t_70 4]: /images/20220829/447722ca245740d481c7e8debd26f0b3.png