定期删除elasticsearch集群10天以上的索引

深碍√TFBOYSˉ_ 2022-06-07 05:20 199阅读 0赞

背景  
需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：project-index-2017.10.01

思路  
通过\_cat/indices接口可以获取当前ES全部索引信息，取第三列为索引名。过滤出索引名中带有的日期字符串，然后进行日期比较，早于10天前的日期便可通过日期模糊匹配索引来删除。

完整的脚本如下：

#!/bin/bash 
    ###################################
    #删除早于十天的ES集群的索引
    ###################################
    function delete_indices() {
        comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
        date1="$1 00:00:00"
        date2="$comp_date 00:00:00"
    
        t1=`date -d "$date1" +%s` 
        t2=`date -d "$date2" +%s` 
    
        if [ $t1 -le $t2 ]; then
            echo "$1时间早于$comp_date，进行索引删除"
            #转换一下格式，将类似2017-10-01格式转化为2017.10.01
            format_date=`echo $1| sed 's/-/\./g'`
            curl -XDELETE http://es-cluster-ip:9200/*$format_date
        fi
    }
    
    curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
    do
        #调用索引删除函数
        delete_indices $LINE
    done

将脚本配置到定时任务定期执行即可。

发表评论取消回复

表情：

评论列表（有 0 条评论，199人围观）

还没有评论，来说两句吧...

相关阅读

相关 ES(elasticsearch)删除指定索引

场景需要删除指定的索引语法执行命令 DELETE /索引名比如：DELETE /mysql-status\_-2023.06 执行结果：

柔光的暖阳◎/ 2024年03月16日 23:04/ 0 赞/ 17 阅读

相关 ElasticSearch中的集群、节点、索引、文档、类型是什么？

在 ElasticSearch 中，集群、节点、索引、文档和类型都是重要的概念。以下是它们的基本解释： 1. 集群 (Cluster)：一个或多个节点组成的集合，用于存储和

灰太狼/ 2024年02月05日 12:54/ 0 赞/ 10 阅读

相关删除elasticsearch大于7天前的索引

<table> <tbody> <tr> <td> <p><code>curl -u 用户名:密码  -H</code><code>'Cont

曾经终败给现在/ 2023年02月13日 14:50/ 0 赞/ 59 阅读

相关 Elasticsearch集群

集群节点 ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节

冷不防/ 2022年10月31日 13:44/ 0 赞/ 290 阅读

相关 hadoop集群故障排除(定期更新)

故障一：某个datanode节点无法启动我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成cento

妖狐艹你老母/ 2022年09月28日 14:22/ 0 赞/ 165 阅读

相关 Elasticsearch-核心篇(10)-集群配置

文章目录一、集群管理 1.1 单机&集群 1.2 集群Cluster 1.3 节点Node 二、Windows集群

今天药忘吃喽~/ 2022年09月07日 09:54/ 0 赞/ 188 阅读

相关定期删除elasticsearch集群10天以上的索引

背景需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：project-index-2017.10.01 思路通过\_cat/indices接口可以获取当

深碍√TFBOYSˉ_/ 2022年06月07日 05:20/ 0 赞/ 200 阅读

相关 elasticsearch(10)重建索引

ES对于已存在的索引字段无法修改，如果要修改索引结构，可以通过新建一个修改结构后的新索引，然后将旧索引中的数据复制到新索引中，变相实现修改索引。配合索引别名可以实现无缝修改

墨蓝/ 2022年05月08日 03:42/ 0 赞/ 229 阅读

相关 PostgreSQL定期删除七天以前的记录

定期删除在mysql通过创建存储过程和触发器比较容易，在postgresql中的方式会有些不一样，这里用到的是postgresql的函数（存储过程和触发器） postgres

秒速五厘米/ 2022年01月31日 04:06/ 0 赞/ 233 阅读

相关 Elasticsearch 集群、节点、索引、分片、副本概念

[https://www.cnblogs.com/chenmz1995/p/12034130.html][https_www.cnblogs.com_chenmz1995_p_

╰+攻爆jí腚メ/ 2021年06月10日 20:40/ 0 赞/ 512 阅读