LogStash的简介与搭建（一）

以你之姓@ 2022-06-01 02:14 169阅读 0赞

本次我采用的ELK均为5.6.3版本  
ElasticSearch为集群模式 具体搭建及操作请看我之前的博客

logstash 官网学习地址：[https://www.elastic.co/guide/en/logstash/][https_www.elastic.co_guide_en_logstash]

## 简介 ##

什么是Logstash？  
Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和民主化所有数据，用于各种先进的下游分析和可视化用例。

尽管Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入，过滤和输出插件来丰富和转换，其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。

我把**LogStash 和 Flume** 归为一类 各有各的优点和好处。  
如果是日志数据入ElasticSearch 最好采用logstash 毕竟人家全家桶 如果是入kafka 两者都可以 具体看怎么使用了 这里不做出实际比较。

logstash由三部分组成：

**1.输入(input)**  
**2.过滤器（filter） 可以有多个**  
**3.输出（output）**

数据是有pipeline管道的形式传输的

其架构图为：

![这里写图片描述][SouthEast]

当然 输入 可以使 多种多样的 不仅仅是dataSource  
还可以是 ：我举几个例子：  
**http请求，文件，elasticSearch，jdbc，exec，redis，消息队列等等…..**  
输出也不一定就是ElasticSearch 还可以是  
**kafka，hadoop，文件，控制台，redis，消息队列等等**

具体生产环境 可以参考官网配置你的输入插件和输出插件。

下面是 搭建部分：

前提 至少 jdk 1.7  
我全程1.8

**1.下载tar.gz包 解压完成**

**2.目录结构 官网第二节有说明 一看就知道是java开发 ，具体每个环节该做什么一目了然**

**3.config目录下logstash.yml是它的配置文件，调优的话就是修改这个文件 我未做修改即可使用 参数调优官网也有介绍**

**4.简单的启动运行测试：**

./bin/logstash -e   'input{ stdin{}} output{stdout{}} '

\-e 是指以参数的形式跟配置文件 即引号里面的  
\-f 是指以配置文件的形式运行

执行之后 随意输入字符 达到这样的效果说明logstash可以正常运行

dsadsdsdsd
    2018-01-17T08:09:14.273Z hadoop1 dsadsdsdsd
    sdsdsfgrg
    2018-01-17T08:09:16.010Z hadoop1 sdsdsfgrg

logstash主要的学习 是在 **输入插件 输出插件 拦截器上**

配置文件中 日志 经过输入插件 必经 拦截器 然后流入输出插件  
其中拦截器的顺序 按照配置文件中 filter的顺序 谁在前面税执行

[https_www.elastic.co_guide_en_logstash]: https://www.elastic.co/guide/en/logstash/
[SouthEast]: /images/20220601/618d74133f2849a38a93a70c1413592c.png