LogStash实践日志分析一：环境搭建

忘是亡心i 2022-07-12 02:42 272阅读 0赞

一、部署规划

1、源日志服务器Logstash收集日志，然后存储在[Redis][]的list中，接收日志服务器LogStash从Redis的list中读取日志，存储在日志存储分析服务器elasticsearch中，然后用户在日志查询服务器kibana连接elasticsearch，查询相关日志。

【源日志服务器Logstash】->【Redis服务器】->【接收日志服务器LogStash】->【日志存储分析服务器elasticsearch】->【日志查询服务器kibana】

这种适合稍大一点的服务器集群，简单的可以直接源日志服务器Logstash存储在日志存储分析服务器elasticsearch中。

2、由于kibana中采用utf8编码作为默认编码，所以日志格式最好为utf8编码，如果不是可以最好做编码转换。

3、为了提升elasticsearch的处理效率，日志格式为Json格式，如果不是用进行日志格式

二、各工具的安装部署

大部分工具的下载地址：https://www.elastic.co/downloads，工具统一安装在/data目录.

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  mkdir /data  
2.  cd /data

1、安装JDK

1.7 JDK下载地址：[http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html][http_www.oracle.com_technetwork_java_javase_downloads_jdk7-downloads-1880260.html]

下载后安装

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  rpm -ivh jdk-7u80-linux-x64.rpm

设置JDK环境变量

修改/etc/profile或者.bash\_profile，在其中增加几行：

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  export JAVA\_HOME=/usr/java/jdk1.7.0\_80  
2.  export CLASSPATH=$JAVA\_HOME/lib/tools.jar  
3.  export PATH=$JAVA\_HOME/bin:$PATH

2、安装LogStash

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz  
2.  tar zxvf logstash-2.3.4.tar.gz

测试

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/logstash-2.3.4/bin/logstash -e 'input \{ stdin \{ \}\}  output \{ stdout \{\}\}'<pre name="code" class="plain"><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">输出输入的内容即为正确</span>

运行

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/logstash-2.3.4/bin/logstash -f <span style="font-family: Arial, Helvetica, sans-serif;">logstash</span>.conf &

3、安装elasticsearch

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3.5.tar.gz  
2.  tar zxvf elasticsearch-2.3.5.tar.gz  
3.  /data/elasticsearch-2.3.5/bin/elasticsearch &

安装后进行测试。

安装文件管理插件elasticsearch-head，方便管理文件。

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/plugin install mobz/elasticsearch-head

安装后可以用

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  curl -XGet http://localhost:19200/\_plugin/head/

检验结果是否正确。

文件管理时，直接用浏览器打开网址[http://localhost:19200/\_plugin/head/ ][http_localhost_19200_plugin_head]进行文件管理。

4、安装kibana

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  wget https://download.elastic.co/kibana/kibana/kibana-4.5.4-linux-x64.tar.gz  
2.  tar zxvf kibana-4.5.4-linux-x64.tar.gz  
3.  /data/kibana-4.5.4-linux-x64/bin/kibana &

安装完执行进行测试。

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  curl -XGet localhost:15601

用浏览器打开 [http://localhost:15601][http_localhost_15601] 进行查询操作。

5、安装Redis

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  mkdir /data/redis/  
2.  cp redis-3.2.1.tar.gz /data/redis/redis-3.2.1.tar.gz  
3.  cd /data/redis/  
4.  tar xzvf redis-3.2.1.tar.gz  
5.  cd /data/redis/redis-3.2.1  
6.  make  
7.  make install  
8.  sysctl vm.overcommit\_memory=1  
9.    
10. /data/redis/redis-3.2.1/src/redis-server /data/redis/redis-3.2.1/redis.conf &  
11. ln -s /data/redis/redis-3.2.1/src/redis-cli /bin/redis-cli

6、安装验证插件shield

1）此插件有30天的有效期，有效期过了打不开kibana页面，谨慎安装。

**\[sql\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \#安装验证插件shield  
2.  /data/elasticsearch-2.3.5/bin/plugin install license  
3.  /data/elasticsearch-2.3.5/bin/plugin install shield  
4.  http://localhost:19200/\_shield/user  
5.  http://localhost:19200/\_shield/role

增加账号格式如下：

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/shield/esusers useradd 用户名 -r 权限组 -p 密码

安装后增加账号es\_admin作为管理员权限，密码123456

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/shield/esusers useradd es\_admin -r admin -p 123456

2）LogStash必须增加相应的账号

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/shield/esusers useradd logstashserver -r logstash -p 123456

然后修改logstash .conf的配置，增加相应的账号和密码。  
  
3）kibana必须增加相应的权限才能使用

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/shield/esusers useradd kibanaserver -r kibana4\_server -p 123456

修改配置/data/kibana-4.5.4-linux-x64/config/kibana.yml

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  elasticsearch.username: "kibanaserver"  
2.  elasticsearch.password: "123456"

4) 后期增加账号权限，都要把kibana4组的权限给增加上去，不然打不开kibana界面

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/shield/esusers useradd test -r usergroup -p 123456  
2.  /data/elasticsearch-2.3.5/bin/shield/esusers roles test -a kibana4\_server

5) license 过期后执行删除shield命令

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  /data/elasticsearch-2.3.5/bin/plugin remove shield

[Redis]: http://lib.csdn.net/base/redis
[view plain]: http://blog.csdn.net/mergerly/article/details/52910493#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/1945760
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/1945760/fork
[http_www.oracle.com_technetwork_java_javase_downloads_jdk7-downloads-1880260.html]: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
[http_localhost_19200_plugin_head]: http://localhost:19200/_plugin/head/
[http_localhost_15601]: http://localhost:15601/

发表评论取消回复

表情：

评论列表（有 0 条评论，272人围观）

还没有评论，来说两句吧...

相关阅读

相关 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

ELK平台介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。...

系统管理员/ 2024年04月18日 20:45/ 0 赞/ 78 阅读

相关 ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台

来源:http://www.cnblogs.com/zclzhao/p/5749736.html 一、简介 ELK 由三部分组成elasticsearch、logstash

た入场券/ 2023年10月17日 10:15/ 0 赞/ 67 阅读

相关 Logstash+Elasticsearch+Kibana日志服务器搭建

官网[https://www.elastic.co][https_www.elastic.co] 软件版本： Logstash 2.2.0 All Plugins

绝地灬酷狼/ 2022年07月14日 00:47/ 0 赞/ 233 阅读

相关 ELK（一）ELK日志收集分析系统环境搭建

基本环境 Linux系统 elasticsearch-2.4.2.tar.gz logstash-2.4.1.tar.gz kibana-4.6.3-

怼烎@/ 2022年07月13日 02:47/ 0 赞/ 295 阅读

相关 LogStash实践日志分析一：环境搭建

一、部署规划 1、源日志服务器Logstash收集日志，然后存储在[Redis][]的list中，接收日志服务器LogStash从Redis的list中读取日志，存储在日志存

忘是亡心i/ 2022年07月12日 02:42/ 0 赞/ 273 阅读

相关 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

摘要: 前段时间研究的Log4j+Kafka中，有人建议把Kafka收集到的日志存放于ES（ElasticSearch，一款基于Apache Lucene的开源分布式搜索引擎）

以你之姓@/ 2022年06月07日 04:00/ 0 赞/ 331 阅读

相关 kafka+elasticsearch+logstash+kibana环境搭建

环境准备 jdk1.8、kafka2.11（kafka-manage可选）、zookeeper3.4.10、logstash5.4.6、kibana5.4.6、elastic

爱被打了一巴掌/ 2022年05月28日 06:42/ 0 赞/ 189 阅读

相关搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器

6 安装kibana 7 安装logstash 8 配置logstash 9 kibana上查看日志 10 收集nginx日志 11 使用b

怼烎@/ 2022年04月17日 06:38/ 0 赞/ 538 阅读

相关 ELK环境搭建之logstash

下载地址 [https://www.elastic.co/downloads/logstash][https_www.elastic.co_downloads_logst

旧城等待，/ 2022年02月04日 13:53/ 0 赞/ 289 阅读

相关 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

[https://my.oschina.net/itblog/blog/547250][https_my.oschina.net_itblog_blog_547250]

我就是我/ 2021年09月12日 04:56/ 0 赞/ 436 阅读