你居然还去服务器上捞日志，搭个日志收集系统难道不香么！

小咪咪 2024-02-20 10:58 3阅读 0赞

### 1 ELK日志系统 ###

经典的[ELK][]架构或现被称为[Elastic Stack][]。Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合：

*  Beats负责日志的采集
 *  Logstash负责做日志的聚合和处理
 *  ES作为日志的存储和搜索系统
 *  Kibana作为可视化前端展示

整体架构图：

![img][]

### 2 EFK日志系统 ###

容器化场景中，尤其k8s环境，用户经常使用EFK架构。F代表Fluent Bit，一个开源多平台的日志处理器和转发器。Fluent Bit可以：

*  让用户从不同来源收集数据/日志
 *  统一并发到多个目的地
 *  完全兼容Docker和k8s环境

![a171e552b28448b6aa3dcde90b2efaab.png][]

### 3 PLG日志系统 ###

#### 3.1 Prometheus+k8s日志系统 ####

![c3e481c5c2d6428da256e911155f60d4.png][] ![0f8dc39f774849c897038d386be7cdec.png][]

#### PLG ####

Grafana Labs提供的另一个日志解决方案PLG逐渐流行。PLG架构即Promtail + Loki + Grafana的组合： [![img][img 1]][img_img 1]

Grafana，开源的可视化和分析软件，允许用户查询、可视化、警告和探索监控指标。Grafana主要提供时间序列数据的仪表板解决方案，支持超过数十种数据源。

Grafana Loki是一组可以组成一个功能齐全的日志堆栈组件，与其它日志系统不同，Loki只建立日志标签的索引而不索引原始日志消息，而是为日志数据设置一组标签，即Loki运营成本更低，效率还提高几个数量级。

[![e8d6fc1167314935b689d3412bb7b132.png][]][e8d6fc1167314935b689d3412bb7b132.png 1]

#### Loki设计理念 ####

Prometheus启发，可实现可水平扩展、高可用的多租户日志系统。Loki整体架构由不同组件协同完成日志收集、索引、存储等。

各组件如下，[Loki’s Architecture][Loki_s Architecture]深入了解。Loki就是like Prometheus, but for logs。 [![img][img 2]][img_img 2]

Promtail是一个日志收集的代理，会将本地日志内容发到一个Loki实例，它通常部署到需要监视应用程序的每台机器/容器上。Promtail主要是用来发现目标、将标签附加到日志流以及将日志推送到Loki。截止到目前，Promtail可以跟踪两个来源的日志：本地日志文件和systemd日志（仅支持AMD64架构）。

### 4 PLG V.S ELK ###

#### 4.1 ES V.S Loki ####

ELK/EFK架构确实强，经多年实际环境验证。存储在ES中的日志通常以非结构化JSON对象形式存储在磁盘，且ES为每个对象都建索引，以便全文搜索，然后用户可特定查询语言搜索这些日志数据。

而Loki数据存储解耦：

*  既可在磁盘存储
 *  也可用如Amazon S3云存储系统

Loki日志带有一组标签名和值，只有标签对被索引，这种权衡使它比完整索引操作成本更低，但针对基于内容的查询，需通过LogQL再单独查询。

#### 4.2 Fluentd V.S Promtail ####

相比Fluentd，Promtail专为Loki定制，它可为运行在同一节点的k8s Pods做服务发现，从指定文件夹读取日志。Loki类似Prometheus的标签方式。因此，当与Prometheus部署在同一环境，因为相同的服务发现机制，来自Promtail的日志通常具有与应用程序指标相同的标签，统一标签管理。

#### 4.3 Grafana V.S Kibana ####

Kibana提供许多可视化工具来进行数据分析，高级功能如异常检测等机器学习功能。Grafana针对Prometheus和Loki等时间序列数据打造，可在同一仪表板上查看日志指标。

参考

*  [https://logz.io/blog/fluentd-logstash/][https_logz.io_blog_fluentd-logstash]
 *  [https://aws.amazon.com/cn/blogs/china/from-elk-efk-to-plg-implement-in-eks-a-container-logging-solution-based-on-promtail-loki-grafana/][https_aws.amazon.com_cn_blogs_china_from-elk-efk-to-plg-implement-in-eks-a-container-logging-solution-based-on-promtail-loki-grafana]
    
    > 本文由博客一文多发平台 [OpenWrite][] 发布！

[ELK]: https://www.elastic.co/elk-stack
[Elastic Stack]: https://www.elastic.co/elastic-stack
[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/cac46085ab7d43f4828aecbc25bc7a66.png
[a171e552b28448b6aa3dcde90b2efaab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/9d7c798ae1484b368322d07b44b002c7.png
[c3e481c5c2d6428da256e911155f60d4.png]: https://img-blog.csdnimg.cn/c3e481c5c2d6428da256e911155f60d4.png
[0f8dc39f774849c897038d386be7cdec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/d27ab0c7f68d424998420c2d6eb14cbc.png
[img 1]: https://img-blog.csdnimg.cn/c7aece487b354a31ba37741852669473.png
[img_img 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/d98a091942524758828cb665799019ef.png
[e8d6fc1167314935b689d3412bb7b132.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/ba81c6b008fb4fc78b3db3645badd3a3.png
[e8d6fc1167314935b689d3412bb7b132.png 1]: https://s3.cn-north-1.amazonaws.com.cn/awschinablog/from-elk-efk-to-plg-implement-in-eks-a-container-logging-solution-based-on-promtail-loki-grafana4.jpg
[Loki_s Architecture]: https://grafana.com/docs/loki/latest/architecture/
[img 2]: https://img-blog.csdnimg.cn/a69fda7695de4919a5622990704b08fb.png
[img_img 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/bfc8bb7fcbc646b0b92c48402ae52d8b.png
[https_logz.io_blog_fluentd-logstash]: https://logz.io/blog/fluentd-logstash/
[https_aws.amazon.com_cn_blogs_china_from-elk-efk-to-plg-implement-in-eks-a-container-logging-solution-based-on-promtail-loki-grafana]: https://aws.amazon.com/cn/blogs/china/from-elk-efk-to-plg-implement-in-eks-a-container-logging-solution-based-on-promtail-loki-grafana/
[OpenWrite]: https://openwrite.cn?from=article_bottom