centos搭建loki+promtail+使用grafana实现日志管理

我不是女神ヾ 2022-12-03 12:59 345阅读 0赞

loki是grafana团队推出的轻量级日志管理工具，其相比传统的以es为底层的日志管理工具可降低存储成本10x。更多关于loki的架构、使用说明等，请参考官方文档：https://grafana.com/docs/loki/latest/overview/  
准备工作，为了测试loki，笔者准备了一个定时的日志输出脚本，日志输出格式如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70]

# 1.loki搭建 #

**1)下载**  
下载地址：https://github.com/grafana/loki/releases/  
选择loki-linux-amd64.zip，复制链接地址wget即可:  
![在这里插入图片描述][20200903171039652.jpg]  
**2)解压**  
![在这里插入图片描述][20200903171704230.jpg]  
**3)创建配置文件**  
官方配置文件链接(若该链接过期，请在官方文档处寻找：https://grafana.com/docs/loki/latest/installation/local/)：https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml  
wget该yaml即可：  
![在这里插入图片描述][20200903171922222.jpg]  
无需更改，使用默认配置启动loki即可。  
**4)启动**  
执行./loki-linux-amd64 -config.file=loki-local-config.yaml启动即可，看到日志最后“Loki started”loki即启动成功。  
![在这里插入图片描述][2020090317214742.jpg]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1]

# 2.promtail搭建(日志采集端) #

**1)下载**  
下载地址：https://github.com/grafana/loki/releases/  
选择promtail-linux-amd64.zip，复制链接地址wget即可:  
![在这里插入图片描述][20200903172548269.jpg]  
**2)解压**  
![在这里插入图片描述][20200903172834422.jpg]  
**3)创建并修改配置文件**  
官方配置文件链接(若该链接过期，请在官方文档处寻找：https://grafana.com/docs/loki/latest/installation/local/)：https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.yaml  
wget该yaml即可：  
![在这里插入图片描述][20200903172948737.jpg]  
修改配置文件:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 2]  
关于配置文件的讲解：

server:
      http_listen_port: 9080 #promtail的http端口地址
      grpc_listen_port: 0
    positions:
      filename: /tmp/positions.yaml #记录当前日志采集状态的文件地址(promtail自动生产)
    clients:
      - url: http://localhost:3100/loki/api/v1/push #采集的日志投递loki的地址
    scrape_configs:
    - job_name: system
      static_configs:
      - targets:
          - localhost
        labels: #标签
          job: log-test
          __path__: /usr/loki/log-output/*out #日志采集路径

**4)启动**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 3]

# 3.在grafana实现日志管理 #

关于grafana如何搭建，请参考笔者[相关文章][Link 1]  
**1)添加数据源**  
选择loki数据源并配置loki地址，点击save&test后无问题即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_7]  
**2)日志管理**  
选择左侧导航按钮的explore：  
![在这里插入图片描述][20200903175035652.jpg]  
选择loki数据源，在查询框左侧选择相应label，grafana会自动填充查询语句：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 4]  
也可查询日志中出现的指定文本：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 5]  
其它查询语法请参考官方文档：https://grafana.com/docs/loki/latest/logql/

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70]: /images/20221123/931b018be57d48b290dbf72878b0d552.png
[20200903171039652.jpg]: /images/20221123/d3e25e3fdefc421198ab82c3c6bb52fb.png
[20200903171704230.jpg]: /images/20221123/0336edb6599547d48a8c57f2c8c99177.png
[20200903171922222.jpg]: /images/20221123/ccd94e82d4704a1ea5548a2a27740bff.png
[2020090317214742.jpg]: /images/20221123/a9d8689d70e34359be7ebec62fb289b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1]: /images/20221123/6fc1c26bd05e4cd6947437ba625b65c3.png
[20200903172548269.jpg]: /images/20221123/f50bab029b804becbcbd1c23c0cb558c.png
[20200903172834422.jpg]: /images/20221123/0ed9041fccee4223a606a5956852a904.png
[20200903172948737.jpg]: /images/20221123/3233e5102aeb4a60b256b681a6370b1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 2]: /images/20221123/30a5d9225cc845af98c615c107a663ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 3]: /images/20221123/3a91060b536549e7a82332d0153b3160.png
[Link 1]: https://blog.csdn.net/m0_38075425/article/details/108379200
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_7]: /images/20221123/2ba25610d5f74d3589c2e13c97241606.png
[20200903175035652.jpg]: /images/20221123/ba8bcbb40096401294e346f86e513c69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 4]: /images/20221123/7d0a8cde9f854f709a4312a1a6cbb1b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 5]: /images/20221123/437135abc9cf48489fb8d2ea203225e2.png