logStash到ElasticSearch 我的例子(六)

刺骨的言语ヽ痛彻心扉 2022-06-01 04:25 30阅读 0赞

input{
    
        file{
        path => "/var/logs/e_mall.log"
        type => "e_mall-bank"
        start_position => "beginning"
        codec => multiline{
               pattern => "\s*\["
               negate => true
               what => "previous"
            }
            }
    
    }
    
    //拦截器部分
    filter{
    
        mutate{
              gsub => ["message","\t","","message","\n"," "]
            }
    
        grok{
             match => {
       "message" => "\[%{LOGLEVEL:loglevel}\s*\]\s*\[%{GREEDYDATA:word}\]\s*%{TIMESTAMP_ISO8601:logdate}\s*%{GREEDYDATA:message}"    }
         overwrite => ["message"]
            }
    
        date{
         match => ["logdate","YYYY-MM-dd HH:mm:ss,SSS"]
         target => "@timestamp"
    
    
        }
    
    
        mutate{
    
         split => {
       "logdate" => " "}
    
        }
        mutate{
        add_field =>{
             "date" => "%{[logdate][0]}"
            }
        remove_field =>[logdate]
        }
    
    
    }
    
    
    
    output{
    
    
        elasticsearch {
           hosts => 
    ["192.168.90.*","192.168.90.*","192.168.90.*"]//自己修改
           index => "%{type}_%{date}"
         }
    
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，30人围观）

还没有评论，来说两句吧...

相关阅读

相关使用logstash同步mysql数据到elasticsearch

在config下新建mysql.conf文件 input{ jdbc{ jdbc驱动包位置 jdbc

悠悠/ 2023年07月24日 05:40/ 0 赞/ 6 阅读

相关 Logstash + ElasticSearch笔记

LogStash 1.具有实时渠道能力的数据引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式的解析工作（日志收集，过滤。存储供搜索） LogStash的配置文

青旅半醒/ 2023年05月30日 08:48/ 0 赞/ 3 阅读

相关 ElasticSearch实战系列六: Logstash快速入门

前言本文主要介绍的是ELK日志系统中的Logstash快速入门。 ELK介绍 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logsta

野性酷女/ 2023年03月03日 08:49/ 0 赞/ 2 阅读

相关使用logstash同步mysql数据库信息到ElasticSearch

> 本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch. 1.准备工作 1.1 安装JDK 网上文章比较多，可以参考：[http

- 日理万妓/ 2022年10月01日 05:52/ 0 赞/ 186 阅读

相关【elasticsearch】logstash之logstash-integration-jdbc

文章目录参考文档软件和数据库 es + logstash软件 + 数据库 springboot-es-ecample 示例项目

﹏ヽ暗。殇╰゛Y/ 2022年09月05日 01:43/ 0 赞/ 210 阅读

相关 logStash到ElasticSearch 我的例子(六)

input{ file{ path => "/var/logs/e_mall.log" type => "e_

刺骨的言语ヽ痛彻心扉/ 2022年06月01日 04:25/ 0 赞/ 31 阅读

相关 logstash-input-jdbc同步mysql数据到elasticsearch

mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，

忘是亡心i/ 2022年05月08日 03:46/ 0 赞/ 242 阅读

相关 logstash mysql 同步到 elasticsearch

es，kinana环境参考：[https://blog.csdn.net/qq\_38270106/article/details/88394869][https_blog.c

Bertha 。/ 2022年03月02日 15:59/ 0 赞/ 339 阅读

相关 Logstash同步ElasticSearch

1、什么是Logstash Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服

阳光穿透心脏的1/2处/ 2021年11月29日 09:08/ 0 赞/ 366 阅读

相关 Logstash 同步mysql数据到ElasticSearch

1.解压Logstash 2.在logstash根目录新建custom文件夹，用于自定义的一些配置文件，如下图 ![watermark_type_ZmFuZ3poZW5na

痛定思痛。/ 2021年11月05日 23:22/ 0 赞/ 404 阅读