海量可视化日志分析平台之ELK搭建

ゞ浴缸里的玫瑰 2022-04-12 10:52 246阅读 0赞

ELK是什么？  
E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。  
L=LogStash ， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元  
K=Kibana ， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥有漂亮的图形化展示功能  
  
为什么要用ELK？  
  
在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重要的信息，如应用程序的log记录的error，warn级别的log，通常在量小的情况下，我们可以直接vi+awk+sed+grep定位原因，在量大的时候，这种方式就捉襟见肘了，而且我们还要各种聚合，或者基于异常多个关键词的搜索，并有且，或，交，并，差，补，排序等一些操作，而且相应速度必须给力，如果线上环境出了故障，能够立刻准确定位，ELK就是高手，在百万大军中取上将首级，犹如探囊取物，所以这时候ELK就非常适合了，当然除此之外，ELK也经常在运维工作中大放光彩，在应用级别的实时监控，非常适合一些重要核心服务的预警。  
  
  
ELK如何安装搭建？  
  
环境要求：  
Linux系统：Centos7  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4945/7cf7e00d-2734-3769-aeaf-c76e7a779356.png\[/img\]  
  
  
Java版本：JDK1.8  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4947/35db1315-89e6-3cba-9824-085982f023bb.png\[/img\]  
  
  
ELK均为最新版本：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4951/8ae81527-cc15-3826-9759-0d15790ef9ba.png\[/img\]  
  
  
（1）ElasticSearch1.7.2 基于Lucene4.10.4的版本  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4949/f11d78e3-4be3-3fec-b44e-f97ddf8010ab.png\[/img\]  
  
（2）Logstash1.5.4  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4953/bee1c24f-5404-3c32-97a5-cfe20dcf5613.png\[/img\]  
  
  
（3）Kibana4.1.2  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4955/22f015e3-9076-3734-a2af-299cc67bbc47.png\[/img\]  
  
  
集群拓扑：  
  
ElasticSearch 3台机器：  
集群名：search  
机器名+es节点名 => ip地址  
h1 => 192.168.1.120  
h2 => 192.168.1.121  
h3 => 192.168.1.122  
  
Logstash 192.168.1.120  
Kibana 192.168.1.120  
  
  
下载：  
elasticsearch： wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz  
logstash ： wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz  
kibana ： wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz  
  
  
一： 安装elasticsearch集群：  
  
（1）解压到指定目录  
（2）配置elasticsearch.yml里面，集群名字和节点名字，如果不配置默认集群名为elasticsearch，节点名随机生成一个  
（3） 在线安装head和bigdisk插件  
直接在elasticsearch的根目录下，分别输入：  
bin/plugin --install mobz/elasticsearch-head 安装head  
bin/plugin --install lukas-vlcek/bigdesk 安装bigdesk  
  
（4）scp分发安装完毕后的elasticsearch  
（5）依次启动各个机器上的elasticsearch  
（6）head显示如下：  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4957/4fef6cf7-cbcd-3ae0-ae0f-b3e0006b2810.png\[/img\]  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4959/3e7081d6-8eb6-3115-b9f4-50e6d6fbc906.png\[/img\]  
  
  
（7）bigdisk显示如下：  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4961/8ecfcc58-7729-3f93-a064-78aee3482087.png\[/img\]  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4963/ef894b78-3f65-3d75-9393-7e95ecf3c861.png\[/img\]  
  
  
二：安装logstash  
  
（1）解压到指定目录  
（2）在根木下新建一个conf目录，在里面新建一个配置文件first.conf  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4965/f7bfd723-f4a7-39c9-a13d-ff089a37c539.png\[/img\]  
  
（3）启动logstash  
执行命令： bin/logstash -f conf/first.conf  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4967/409bd314-5f75-3a77-a96b-4016b0e519cf.png\[/img\]  
  
  
三：安装kibana  
（1）解压到指定目录  
（2）在根目录执行bin/kibana直接启动  
（3）访问http://192.168.1.120:5601/ 配置一个ElasticSearch索引  
（4）在logstach里面添加数据  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4969/ea3fc218-7972-34bd-ae69-6d7007e2011b.png\[/img\]  
  
  
（5）查看图表：刚新加的数据  
  
\[img\]http://dl2.iteye.com/upload/attachment/0112/4971/79e1a3d5-1483-3f74-816d-c7a1d12ac2bb.png\[/img\]  
  
  
四： 至此，ELK组件已经安装完毕，带图形化界面的简单日志查询分析系统就搞定了  
  
本篇只是一个简单的入门例子，如需深入可以研究elastic的官网文档：  
https://www.elastic.co/guide/index.html  
  
\[b\]\[color=green\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]