ELK平台的搭建

小鱼儿 2023-10-17 15:18 133阅读 0赞

ELK是指Elasticsearch + Logstash + Kibaba三个组件的组合。本文讲解一个基于日志文件的ELK平台的搭建过程，有关ELK的原理以及更多其他信息，会在接下来的文章中继续研究。  
　　在这个系统中，Elasticsearch主要充当一个全文检索和分析引擎，Logstash是一款分布式日志收集系统，Kibana可以为这个平台提供可视化的Web界面。

## 一、环境准备 ##

三台虚拟机：m000，m001，m002，[操作系统][Link 1]版本为Ubuntu-14.04  
　　Elasticsearch-2.3.2  
　　Logstash-2.3.2  
　　Kibana-4.5.1  
　　JDK-1.7.0\_79　　  
　　  
　　在该系统中ELK的关系如下图所示：  
　　![ELK系统][ELK]

## 二、各组件的部署 ##

ELK的运行依赖于[Java][]环境，JDK可自行安装，本节主要讲Elasticsearch，Logstash和Kibaba的安装和配置过程。

### 1、Elasticsearch ###

**（1）elasticsearch**  
　　下载地址：[https://www.elastic.co/downloads/elasticsearch][https_www.elastic.co_downloads_elasticsearch]  
　　下载好后，上传到m000:/usr/local/elk路径下解压缩，设置/usr/local/elasticsearch软连接指向该路径。进入ES\_HOME/config目录中编辑elasticsearch.yml文件。设置`network.host: m000`，`http.port: 9200`设置访问地址和端口号，否则不能在浏览器中访问。设置`cluster.name: es_cluster`，`node.name: m000`，这两个参数主要设置ES集群的集群名称，以及这台机器在集群中的名称。设置`path.data: /usr/local/elasticsearch/data`，`path.logs: /usr/local/elasticsearch/logs`，这两个参数主要设置ES存储data和log的路径。  
　　配置好后启动输入`ES_HOME/bin/elasticsearch`命令启动es(加入参数-d，es会在后台运行)，正常启动如下图：  
　　![这里写图片描述][20160626214625496]  
　　在另外一个命令窗口中检查启动状态，  
　　![这里写图片描述][20160626214900090]  
　　也可在页面上查看，输入m000:9200，  
　　![这里写图片描述][20160626214943544]

经过上述操作检查无误后，可以将m000上的elasticsearch分发到m001和m002机器上，记得分发后修改各自的`node.name`以及`network.host`两个属性。网上很多关于Elasticsearch的安装中都说道，保持每台机器上的`cluster.name`属性一致时，如果将各自的es服务都启动，系统会自动将cluster name相同的机器组成一个集群。但是在本次操作中发现，这个描述对Elasticsearch-2.3.3版本无效，集群需要手动指定。分别修改m000, m001, m002三台机器上的elasticsearch.yml文件，在其中加入`discovery.zen.ping.unicast.hosts: ["m000", "m001", "m002"]`和`discovery.zen.minimum_master_nodes: 2`参数后，将m000-003上的elasticsearch服务启动才能组成一个集群。

**（2）head插件**  
　　Elasticsearch可以安装很多插件，接下来我们安装一个head插件，用于查看集群相关信息。往往大多数生产环境中服务器都不能联外网，所以我们采取下载安装的方式。  
　　Head插件的下载地址：[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]  
下载后，在ES\_HOME/plugins路径下解压缩，重命名成head，并删除压缩包。这样，在启动m000, m001和m002上的ES服务后，在[http://m000:9200/\_plugin/head/][http_m000_9200_plugin_head]可以在页面上看到如下信息：  
![这里写图片描述][20160626220223395]  
　　在这个页面上可以看到有三台机器，其中m000是master节点，在该页面上可以查看各节点的其他信息。  
　　  
**（3）marvel插件**  
　　Marvel是Elasticsearch的管理和监控工具，它提供了一个叫做Sense的交互式控制台供用户通过浏览器直接与Elasticsearch进行交互。有关这个插件的联网安装方式，网上也有很多介绍，本文仍然以Offline方式安装marvel插件。  
　　下载以下三个文件：

*  [https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/license/2.3.3/license-2.3.3.zip][https_download.elastic.co_elasticsearch_release_org_elasticsearch_plugin_license_2.3.3_license-2.3.3.zip]
 *  [https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/marvel-agent/2.3.3/marvel-agent-2.3.3.zip][https_download.elastic.co_elasticsearch_release_org_elasticsearch_plugin_marvel-agent_2.3.3_marvel-agent-2.3.3.zip]
 *  [https://download.elasticsearch.org/elasticsearch/marvel/marvel-2.3.3.tar.gz][https_download.elasticsearch.org_elasticsearch_marvel_marvel-2.3.3.tar.gz]  
    　　将这三个文件上传到ｍ000:/usr/local/elk　　  
    `Hadoop@m000:/usr/local/elasticsearch/bin$ ./plugin install file:///usr/local/elk/license-2.3.3.zip`  
    `hadoop@m000:/usr/local/elasticsearch/bin$ ./plugin install file:///usr/local/elk/marvel-agent-2.3.3.zip`  
    　　将m000:/usr/local/elasticsearch/plugins目录分发到m001和m002上。  
    　　第三个文件marvel-2.3.3.tar.gz会在Kibana部分用到。
    
    　　有关marvel的配置，可以参考官方网站：[https://www.elastic.co/guide/en/marvel/current/configuration.html][https_www.elastic.co_guide_en_marvel_current_configuration.html]  
    　　关于使用，会在下面Kibana中讲解。

### 2、Logstash ###

下载地址：[https://www.elastic.co/downloads/logstash][https_www.elastic.co_downloads_logstash]  
　　下载好后，上传到m000:/usr/local/elk路径下解压缩，设置/usr/local/logstash软连接指向该路径。  
　　接下来用Logstash将Hadoop的yarn日志加载进来，进入LS\_HOME，新建一个config\_file目录存储自定义配置文件log.conf。

input {
      file {
        type => "hadoop-yarnlog"
        path => "/usr/local/hadoop/logs/yarn-hadoop-resourcemanager-m000.log"
      }
    }
    
    output {
      elasticsearch {
        hosts => "m000:9200"
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        template_overwrite => true
      }
    }
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11 
       12 
       13 
       14 
      
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11 
       12 
       13 
       14

启动Logstash，`LS_HOME/bin/logstash agent -f config_file/log.conf`在ES的head页面可以看到多了一个logstash-hadoop-yarnlog的文件，下图中前面两个是marvel相关数据。  
　　![这里写图片描述][20160626223947596]  
　　可以在数据浏览，基本查询，复合查询中对该文件进行相关的查询操作。比如输入时间参数查看最近4分钟的日志文件：  
　　![这里写图片描述][20160626224232355]  
　　更多的查询操作，可以在对Elasticsearch进一步学习中讲解到。

### 3、Kibana ###

下载地址：[https://www.elastic.co/downloads/kibana][https_www.elastic.co_downloads_kibana]  
　　下载好后，上传到m000:/usr/local/elk路径下解压缩，设置/usr/local/kibana软连接指向该路径。进入KB\_HOME/config文件夹，编辑kibana.yml文件，设置`server.port: 5601`, `server.host: "m000`, `elasticsearch.url: "http://m000:9200"`。  
　　启动kibaba，`KB_HOME/bin/kibana`, 正常启动可以在控制台中看到如下信息：  
　　![这里写图片描述][20160626224709767]  
　　在浏览器中输入m000:5601，可以看到如下页面：  
　　![这里写图片描述][20160626224750080]  
看到上图中的界面，表示ELK已经正常配置了，点击Create–>Discover  
![这里写图片描述][20160626225143648]  
可以看到加载的日志文件中的一些数据。

最后继续在Kibana中把marvel插件安装完成。输入`KB_HOME/bin/kibana plugin --install marvel --url file:///usr/local/elk/marvel-2.3.3.tar.gz`如下图  
　　![这里写图片描述][20160626225712000]  
启动kibana，浏览器访问m000:5601，点击选图中的红色方框，  
![这里写图片描述][20160626225930870]  
在新窗口中选择Marvel，可以看到Elasticsearch集群的监控信息，  
![这里写图片描述][20160626230052866]  
点击上图中的es\_cluster，可以看到es\_cluster集群中各节点详细监控信息，  
![这里写图片描述][20160626230155605]

有关Elasticsearch，Logstash，Kibana更多细节，后面继续补充。

来源:http://blog.csdn.net/dabokele/article/details/51765136

[Link 1]: http://lib.csdn.net/base/operatingsystem
[ELK]: https://img-blog.csdn.net/20160626213229507
[Java]: http://lib.csdn.net/base/java
[https_www.elastic.co_downloads_elasticsearch]: https://www.elastic.co/downloads/elasticsearch
[20160626214625496]: https://img-blog.csdn.net/20160626214625496
[20160626214900090]: https://img-blog.csdn.net/20160626214900090
[20160626214943544]: https://img-blog.csdn.net/20160626214943544
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[http_m000_9200_plugin_head]: http://m000:9200/_plugin/head/
[20160626220223395]: https://img-blog.csdn.net/20160626220223395
[https_download.elastic.co_elasticsearch_release_org_elasticsearch_plugin_license_2.3.3_license-2.3.3.zip]: https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/license/2.3.3/license-2.3.3.zip
[https_download.elastic.co_elasticsearch_release_org_elasticsearch_plugin_marvel-agent_2.3.3_marvel-agent-2.3.3.zip]: https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/marvel-agent/2.3.3/marvel-agent-2.3.3.zip
[https_download.elasticsearch.org_elasticsearch_marvel_marvel-2.3.3.tar.gz]: https://download.elasticsearch.org/elasticsearch/marvel/marvel-2.3.3.tar.gz
[https_www.elastic.co_guide_en_marvel_current_configuration.html]: https://www.elastic.co/guide/en/marvel/current/configuration.html
[https_www.elastic.co_downloads_logstash]: https://www.elastic.co/downloads/logstash
[20160626223947596]: https://img-blog.csdn.net/20160626223947596
[20160626224232355]: https://img-blog.csdn.net/20160626224232355
[https_www.elastic.co_downloads_kibana]: https://www.elastic.co/downloads/kibana
[20160626224709767]: https://img-blog.csdn.net/20160626224709767
[20160626224750080]: https://img-blog.csdn.net/20160626224750080
[20160626225143648]: https://img-blog.csdn.net/20160626225143648
[20160626225712000]: https://img-blog.csdn.net/20160626225712000
[20160626225930870]: https://img-blog.csdn.net/20160626225930870
[20160626230052866]: https://img-blog.csdn.net/20160626230052866
[20160626230155605]: https://img-blog.csdn.net/20160626230155605