elasticsearch日志清理脚本

我不是女神ヾ 2022-10-09 12:24 212阅读 0赞

问题描述：  
对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志；

解决办法  
1）创建脚本

vi rm_es_log.sh
    chmod +x rm_es_log.sh

默认只保留最近7天的日志，可以传入参数清理其他时间的日志；  
我的elasticsearch有权限控制，如果无密码方式登录，需要去掉-u参数

#!/bin/sh
    ####################################
    # File Name: rm_es_log.sh
    # Version: V1.0
    # Author: hury
    # Created Time : 2019-09-09 12:26:14
    ####################################
    IP=服务器IP
    CURRENT_DIR=$PWD
    LOG_DIR=$CURRENT_DIR/del_es_index.log
    DAYS=7
    
    if [ "$#" -eq "1" ];then
    	DAYS=$1
    fi
    echo "will delete es logs :" `date -d "$DAYS days ago" +%Y.%m.%d`
    
    curl -XGET "http://$IP:9200/_cat/shards" -u 用户名：密码 |grep $IP |awk '{print $1}' |grep `date -d "$DAYS days ago" +%Y.%m.%d` |uniq > $CURRENT_DIR/index_name.tmp
    for index_name in `cat $CURRENT_DIR/index_name.tmp`
    do
        curl -XDELETE  http://$IP:9200/$index_name -u 用户名：密码 | grep true
    	if [ $? -eq 0 ];then
    		echo "${index_name} delete success." >> $LOG_DIR
    	else
    		echo "${index_name} delete error." >> $LOG_DIR
    	fi
    Done

2）添加计划任务  
linux下添加计划任务：

0 0 1 * * * /PATH_TO_SCRIPT/rm_es_logs.sh >/dev/null 2>&1

windows下计划任务：  
上述任务如何在windows下执行，首先需要安装git软件，然后配置计划任务。

–END–

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关 ELK 设置定时清理脚本清理索引

文章目录 ELK 设置定时清理脚本清理索引 1、elasticsearch 查询索引接口 2、其它接口

分手后的思念是犯贱/ 2022年11月17日 10:24/ 0 赞/ 207 阅读

相关 CDH日志清理

备注: CDH 版本: 6.3.1 背景 CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。一.查看问题 CDH的日志文件一般

Love The Way You Lie/ 2022年11月09日 14:19/ 0 赞/ 496 阅读

相关 zookeeper日志清理

导语：zk 清理，灰度服务器告警，发现zk日志一直没有清理需要清理的文件进入到dataDir下的version-2文件夹，version-2文件夹下存放的是zook

水深无声/ 2022年11月09日 12:33/ 0 赞/ 423 阅读

相关 elasticsearch日志清理脚本

问题描述：对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志；解决办法

我不是女神ヾ/ 2022年10月09日 12:24/ 0 赞/ 213 阅读

相关 mysql 二进制日志清理

首先查看二进制文件 >show binary logs; ![Center][] 利用purge master logs to ‘’; 可以选择清理的二进制文件

秒速五厘米/ 2022年08月22日 14:12/ 0 赞/ 146 阅读

相关 Linux下清理日志及自动清理

liunx下清理日志一、find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf \{\} \\; 此处我以tomcat下 logs目录

r囧r小猫/ 2022年05月20日 04:58/ 0 赞/ 313 阅读

相关 SQL2005日志清理

SQL2005 1个多G的日志，有时候清不掉。所以找了这段代码。有时候清理日志未清理成1M 请多执行几遍。一般清况下执行一次就可以的。我碰到过要执行两遍的。 1S

Dear 丶/ 2022年05月16日 09:19/ 0 赞/ 168 阅读

相关 Docker容器日志清理，编写脚本

\!/bin/sh echo "==================== start clean docker containers logs ==============

墨蓝/ 2022年05月15日 00:54/ 0 赞/ 186 阅读

相关 Linux定时清理日志脚本

定时清理日志脚本说明脚本用于清除某一文件夹中n天前的 \.log 文件,可以通过参数控制 n 的大小。原理使用find 命令查询当前路径中创建时间是

柔光的暖阳◎/ 2022年03月17日 06:28/ 0 赞/ 364 阅读

相关 Linux --日志定时清理

上篇文章写到了在工作中遇到的一个因为磁盘空间占满导致的问题，因应用每天都要写日志，所以如果不定时对部署应用的服务器进行清理的话会经常遇到这样的问题。为避免相似的问题发生，今天总

系统管理员/ 2021年11月10日 08:20/ 1 赞/ 329 阅读