Docker安装Kafka+ELK日志收集

小咪咪 2022-01-05 07:07 473阅读 0赞

### 文章目录 ###

*   *  Docker安装Kafka+ELK日志收集
     *   *  介绍
         *  安装的前提条件
         *  安装Kafka
         *  Zookeeper
         *  启动Zookeeper和Kafka镜像
         *  安装ELK
         *  配置ELK
         *  配置Kibana

## Docker安装Kafka+ELK日志收集 ##

### 介绍 ###

ELK由Elasticsearch、Logstash和Kibana三部分组件组成。  
可以去官网看看了解更多：[https://www.elastic.co/cn/products/][https_www.elastic.co_cn_products] 还有 [https://www.elastic.co/cn/elk-stack][https_www.elastic.co_cn_elk-stack]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70]

接下来我就开始介绍在Docker中安装Kafka+ELK进行日志的收集，本人也是小白，所以参考了网上的一些资料进行学习安装，然后记录一下自己的安装步骤，首先感谢下面的博主提供的参考资料：  
[https://blog.csdn.net/yhq1913/article/details/86523014][https_blog.csdn.net_yhq1913_article_details_86523014]  
[https://www.jianshu.com/p/b81e1b7c0efb][https_www.jianshu.com_p_b81e1b7c0efb]  
[https://blog.csdn.net/qq\_42595077/article/details/87450034][https_blog.csdn.net_qq_42595077_article_details_87450034]  
[https://blog.csdn.net/wiselyman/article/details/88346551][https_blog.csdn.net_wiselyman_article_details_88346551]  
[https://www.jianshu.com/p/5df9db5cda8f][https_www.jianshu.com_p_5df9db5cda8f]  
[https://blog.csdn.net/belonghuang157405/article/details/82149257][https_blog.csdn.net_belonghuang157405_article_details_82149257]  
[https://www.cnblogs.com/demodashi/p/8458072.html][https_www.cnblogs.com_demodashi_p_8458072.html]  
还有一些其他的资料大家也可以参考一下：  
[https://elk-docker.readthedocs.io/][https_elk-docker.readthedocs.io]  
接下来我们看看Kafka和ELK的关系，下面的图是上面链接中拿来的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 1]

然后开始我们的搭建。

### 安装的前提条件 ###

1.  安装Docker，这个应该不用多说，这里我使用的是Docker Toolbox。还可以指定一下docker machine的存储位置，可以参考：[https://www.cnblogs.com/ginponson/p/8601320.html][https_www.cnblogs.com_ginponson_p_8601320.html] (但是修改完存储路径之后，貌似我的Kitematic 不太好使了，我也不知道是什么原因，我看到网上也有相关的问题：[https://github.com/trex-group/Big-Data/issues/6][https_github.com_trex-group_Big-Data_issues_6]) 以及设置国内镜像：[https://www.jianshu.com/p/b18122eaddc3][https_www.jianshu.com_p_b18122eaddc3]
2.  Docker至少得分配4GB的内存； Elasticsearch至少需要单独2G的内存；所以配置好的尽量分配大一点
3.  防火墙开放相关端口；
4.  vm.max\_map\_count至少需要262144  
    我们主要介绍一下怎么设置vm.max\_map\_count，不设置的话在安装过程中会提示你需要设置。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 2]

首先我们先连上我们的VirtualBox中的Docker，我这里使用SecureCRT这款工具去连接我们的Docker。  
Docker默认用户名和密码是：username：**docker**，password：**tcuser**  
![在这里插入图片描述][20190623113101716.png]

然后我们就连接上了![在这里插入图片描述][2019062311322391.png]

设置vm.max\_map\_count的方式有两种。

1.  正在运行的机器（不是永久的）：

sysctl -w vm.max_map_count=262144

1.  永久性的修改,在/etc/sysctl.conf文件中添加一行

grep vm.max_map_count /etc/sysctl.conf # 查找当前的值。
    
    vm.max_map_count=262144 # 修改或者新增

我们来介绍一下这种方案。  
首先我们用root用户修改配置sysctl.conf

sudo vi /etc/sysctl.conf

添加下面配置

vm.max_map_count=655360

并执行命令

sudo sysctl -p

![在这里插入图片描述][20190623114255763.png]

### 安装Kafka ###

先使用命令 docker search kafka 查看kafka的安装包

docker search kafka

结果我使用命令的时候报了这么一个错误。

error during connect: Get https://192.168.99.100:2376/v1.39/images/json: dial tcp 192.168.99.100:2376: connectex: No connection could be made because the target machine actively refused it.

执行docker version的时候也是同样的错误：  
![在这里插入图片描述][20190623115107437.png]  
所以大家安装好docker的时候最好使用docker version查看一下docker的安装有什么问题。

错误原因：可能是之前我就安装了virtual box，与其自带不同，没有设定值吧。

解决方法：  
[https://blog.csdn.net/fanfan4569/article/details/71340556][https_blog.csdn.net_fanfan4569_article_details_71340556]  
[https://blog.csdn.net/fxbin123/article/details/78474174][https_blog.csdn.net_fxbin123_article_details_78474174]

然后我们继续。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 3]

选择

docker pull wurstmeister/kafka

![在这里插入图片描述][20190623145300380.png]

### Zookeeper ###

安装Kafka需要安装Zookeeper

同样的操作安装zookeeper

docker search zookeeper

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 4]  
选择

docker pull wurstmeister/zookeeper

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 5]

### 启动Zookeeper和Kafka镜像 ###

首先启动zookeeper

docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest

![在这里插入图片描述][20190623203443666.png]

然后在启动Kafka

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 
    --env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime 
    wurstmeister/kafka:latest

中间的kafka所在宿主机的IP，如果不这么设置，可能会导致在别的机器上访问不到kafka。  
所以我们这里的命令是：

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 
    --env KAFKA_ADVERTISED_HOST_NAME=192.168.99.100 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime 
    wurstmeister/kafka:latest

### 安装ELK ###

接下来我们来安装ELK

docker pull sebp/elk

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 6]

执行命令,将镜像运行为容器，为了保证ELK能够正常运行，加了-e参数限制使用最小内存及最大内存。

docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 -e ES_MIN_MEM=128m  -e ES_MAX_MEM=2048m -it --name elk sebp/elk

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 7]  
打开浏览器，输入：[http://宿主机ip:5601][http_ip_5601]，看到如下界面说明安装成功

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 8]

### 配置ELK ###

使用以下命令进入容器

docker exec -it <container-name> /bin/bash

![在这里插入图片描述][20190623205035886.png]  
进入容器后执行命令：

/opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'

注意：如果看到这样的报错信息 Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the “path.data” setting. 请执行命令：`service logstash stop` 然后在执行就可以了。  
然后等待一会之后输入hello world!!  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 9]

然后可以在http://宿主机ip:9200/\_search?pretty 中查看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 10]

到此，ELK简单配置成功，接下来配置Logstash连接Kafka将日志发送给es

进入elk容器，进入 /etc/logstash/conf.d 文件夹地址中创建文件 logstash.conf 添加一下内容:

input {
      beats {
        port => 5044
      }
    
         kafka {
            bootstrap_servers => ["宿主机IP:9092"]
            group_id => "test-consumer-group"
            auto_offset_reset => "latest"
            consumer_threads => 5
            decorate_events => true
            topics => ["user_consumer"]
            type => "bhy"
         }
    
    }
    
    output {
      elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "myservice-%{+YYYY.MM.dd}"
        #user => "elastic"
        #password => "changeme"
      }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 11]

执行命令

vim /etc/init.d/logstash

打开logstash启动文件后，找到为logstash启动用户，都改为root，logstash的默认执行用户（logstash）可能会导致权限不足的问题。

LS_USER=root    //原来默认为logstash
     LS_GROUP=root  //原为默认为logstash

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 12]

启动logstash

/etc/init.d/logstash start

到此，logstash已经连接上Kafka并且实时监控消息发送到es存储，以上的logstash配置都是参考：[https://blog.csdn.net/yhq1913/article/details/86523014，][https_blog.csdn.net_yhq1913_article_details_86523014 1] 可以参考这篇博文使用Springboot发送一下消息试一下。

下面我讲一下我项目中的logstash的配置

input {
      beats {
        port => 5044
      }
    
         kafka {
            bootstrap_servers => ["192.168.99.100:9092"]
            topics => ["cloud-service-member"]
         }
    
    }
    
    output {
      elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "member-service-%{+YYYY.MM.dd}"  //修改index前面的，应该是这个
        #user => "elastic"
        #password => "changeme"
      }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 13]

然后我在项目中是做了一个AOP进行拦截并把log发送到kafka。感兴趣的可以看看：  
[https://gitee.com/cckevincyh/cloud-demo/tree/ELK-1.0/][https_gitee.com_cckevincyh_cloud-demo_tree_ELK-1.0]

我们启动一下项目，访问以下我们的服务，也是查看http://宿主机ip:9200/\_search?pretty，如果没有新的日志数据，可以尝试重启一下elk，之后就刷新了我们的服务页面就可以看到有新的日志进来了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 14]

### 配置Kibana ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 15]

我们可以看到在index pattern这里多了一个我们之前设置es的index。然后我们创建一个index pattern  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 16]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 17]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 18]

然后我们就可以看到日志数据了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 19]

[https_www.elastic.co_cn_products]: https://www.elastic.co/cn/products/
[https_www.elastic.co_cn_elk-stack]: https://www.elastic.co/cn/elk-stack
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70]: /images/20211229/54209f4907a4428eaab3a71061f2c626.png
[https_blog.csdn.net_yhq1913_article_details_86523014]: https://blog.csdn.net/yhq1913/article/details/86523014
[https_www.jianshu.com_p_b81e1b7c0efb]: https://www.jianshu.com/p/b81e1b7c0efb
[https_blog.csdn.net_qq_42595077_article_details_87450034]: https://blog.csdn.net/qq_42595077/article/details/87450034
[https_blog.csdn.net_wiselyman_article_details_88346551]: https://blog.csdn.net/wiselyman/article/details/88346551
[https_www.jianshu.com_p_5df9db5cda8f]: https://www.jianshu.com/p/5df9db5cda8f
[https_blog.csdn.net_belonghuang157405_article_details_82149257]: https://blog.csdn.net/belonghuang157405/article/details/82149257
[https_www.cnblogs.com_demodashi_p_8458072.html]: https://www.cnblogs.com/demodashi/p/8458072.html
[https_elk-docker.readthedocs.io]: https://elk-docker.readthedocs.io/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 1]: /images/20211229/1dccf74a9a1a4d01a951064ede20dd6a.png
[https_www.cnblogs.com_ginponson_p_8601320.html]: https://www.cnblogs.com/ginponson/p/8601320.html
[https_github.com_trex-group_Big-Data_issues_6]: https://github.com/trex-group/Big-Data/issues/6
[https_www.jianshu.com_p_b18122eaddc3]: https://www.jianshu.com/p/b18122eaddc3
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 2]: /images/20211229/9019548b882c44288ba48bd48acde45e.png
[20190623113101716.png]: /images/20211229/bc88496239b24b42bdad5d0b94b9eb39.png
[2019062311322391.png]: /images/20211229/ce80e8b58ebf48389f3986fdb881a2ae.png
[20190623114255763.png]: /images/20211229/c5ad435247c04533bbe8d998d9df745e.png
[20190623115107437.png]: /images/20211229/43a5377a94ae402c90d674478f8b03fd.png
[https_blog.csdn.net_fanfan4569_article_details_71340556]: https://blog.csdn.net/fanfan4569/article/details/71340556
[https_blog.csdn.net_fxbin123_article_details_78474174]: https://blog.csdn.net/fxbin123/article/details/78474174
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 3]: /images/20211229/ab4a206f027249849d674727d8eeccbd.png
[20190623145300380.png]: /images/20211229/71f48e38af9a42f388365c12a0ebe0ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 4]: /images/20211229/1287aec5a3ad4213ae32f50e15fd15d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 5]: /images/20211229/5d8a4b0b700b455aa5bea03775aee3a4.png
[20190623203443666.png]: /images/20211229/f909f55198af4d308f46d94b9f1c7057.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 6]: /images/20211229/c22a7b35a13c4dd5a88023a11f76301a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 7]: /images/20211229/3aef9c3613194062863b9e9d859953d5.png
[http_ip_5601]: http://xn--ip-wz2c754c5qn:5601
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 8]: /images/20211229/c4a64dcc14f147c6b5e9bd7fd3eab2a3.png
[20190623205035886.png]: /images/20211229/20247f53c32748679ff69e9de43ca4d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 9]: /images/20211229/6e320262c5fa4c3d8d7a338170da3723.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 10]: /images/20211229/26e3c71d32f349d9b60f7a409b255a28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 11]: /images/20211229/6e13239e1d5748eb8046f1dbbe145522.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 12]: /images/20211229/cf16441de40c46278c81b34e2bfe6aba.png
[https_blog.csdn.net_yhq1913_article_details_86523014 1]: https://blog.csdn.net/yhq1913/article/details/86523014%EF%BC%8C
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 13]: /images/20211229/86e11fc58fd84b7cb478d28429653335.png
[https_gitee.com_cckevincyh_cloud-demo_tree_ELK-1.0]: https://gitee.com/cckevincyh/cloud-demo/tree/ELK-1.0/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 14]: /images/20211229/95bc6be501df44f29c2cfa5be1e33826.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 15]: /images/20211229/55be764099cf499883629e36b455abe1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 16]: /images/20211229/ad143709bd60458f9f7841f8db03ab70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 17]: /images/20211229/7e5ae6f740d946999ba80b4f6a5a2fef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 18]: /images/20211229/e23059ed6b0d4ec1bdb69b81f16e7d76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 19]: /images/20211229/1795933293c04cd195c85cec46ae3bbc.png