k8s场景下日志处理(二) 部署篇

悠悠 2023-01-05 01:23 231阅读 0赞

#### 接上篇 ####

https://blog.csdn.net/u014686399/article/details/108974291  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]

上文聊到我们将fluent按照功能分成不同模块，并且增加了过滤功能，可以只筛选我们想要的日志。我们也可以针对专门模块进行副本增加，参数调优等。下面我们聊聊怎么部署吧

#### 部署 ####

*  首先我们部署好helm环境

# 下载helm3的安装包并解压
    # 添加资源库
     helm  repo add  apphup https://apphub.aliyuncs.com/

*  安装ES

# 参照https://blog.csdn.net/u014686399/article/details/111214148
    # 注意要打开kibana的选项, value.yaml
    global:
      kibanaEnabled: true
    kibana:
      elasticsearch:
        hosts:
          - '{ { include "elasticsearch.coordinating.fullname" . }}'
        port: 9200

![在这里插入图片描述][20210111140457285.png]  
![在这里插入图片描述][20210111140548371.png]

# es-kibana 这是kinbana的service
    # es-kibana-coordinating-only 这是 es的service

*  安装kafka

# 搜索
    helm search repo kafka
    # 下载
    helm fetch apphup/kafka
    # 安装
    helm install kafka-zk .

![在这里插入图片描述][20210111140853179.png]

# value.yaml 注意的地方
    #（1）如果你是生产环境，请打开 persistence
    # （2）如果你没有zk的话，请打开 zookeeper
    zookeeper:
      enabled: true
      fullnameOverride: zookeeper-svc

![在这里插入图片描述][20210111141754494.png]  
![在这里插入图片描述][20210111142100703.png]  
![在这里插入图片描述][20210111141958817.png]  
![在这里插入图片描述][20210111142023558.png]

#### 抽取fluent安装 ####

*  获取yaml文件

https://github.com/goingHan/logging-fluent-draw
    # 这一套yaml文件会部署出damonset

# configmap.yaml 注意事项
    <store>
         @id fluentd-filter
         @type forward
         <server>
           name fluentd-filter
           host fluent-filter-fluentd # 这是过滤fluent的service，你可以先填写上，然后安装过滤fluent时要注意名字
         </server>
    </store>

![在这里插入图片描述][20210111153508794.png]

#### 过滤fluent ####

https://github.com/goingHan/logging-fluent-filter
    # 这是一个helm安装包

# value.yaml
      output.conf: |
        <filter kubernetes.**>
           @id grep-nginx
           @type grep
           <regexp>
             key $.kubernetes.labels.sw-kind
             pattern /nginx/
           </regexp>
        </filter>
    # 上面表示我想只获取nginx容器的日志。如果你想获取多种软件的日志，可以使用grep插件的or功能
          @type kafka2
          @id kafka-match
          brokers kafka-zk:9092
          topic_key sw-topic
    # 上面是kafka的的地址

# 当然nginx的pod要想被抽取到，需要加上label

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]  
使用helm install安装完毕后  
![在这里插入图片描述][20210111153617969.png]  
![在这里插入图片描述][20210111153859513.png]

#### 安装用于抽取topic的fluent ####

https://github.com/goingHan/logging-fluent-topic
    # 这是一个helm安装包

# value.yaml 
        <source>
          @type kafka
          brokers 10.96.88.180:9092
          topics nginx-nginx-kafka
          @label @KAFKA
        </source>
    # 上面是kafka的地址
            @id elasticsearch
            @type elasticsearch
            @log_level info
            include_tag_key true
            host es-kibana-coordinating-only
            port 9200
    # 上面是es的地址，注意这里是可以开启了logstash模式的。可以在这里指定index的名字，在es指定模板，可以针对不同的软件使用不同的切割方式

![在这里插入图片描述][2021011115554468.png]

#### kinbana 展示 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]: /images/20221119/99ee6c4603234c0886afe867c16a7436.png
[20210111140457285.png]: /images/20221119/e3bd7a47d925419caff80a1cfe9c68ad.png
[20210111140548371.png]: /images/20221119/17fbb7d9deea4fa98734d81d5e8d0416.png
[20210111140853179.png]: /images/20221119/0c61961f071f404db30007d6e8b5adf7.png
[20210111141754494.png]: /images/20221119/ebb152987efa44d3a2fbb4d038ccb773.png
[20210111142100703.png]: /images/20221119/fb25d83757c84fb6b562a3103971070a.png
[20210111141958817.png]: https://img-blog.csdnimg.cn/20210111141958817.png
[20210111142023558.png]: https://img-blog.csdnimg.cn/20210111142023558.png
[20210111153508794.png]: https://img-blog.csdnimg.cn/20210111153508794.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210111153209453.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk=,size_16,color_FFFFFF,t_70
[20210111153617969.png]: https://img-blog.csdnimg.cn/20210111153617969.png
[20210111153859513.png]: https://img-blog.csdnimg.cn/20210111153859513.png
[2021011115554468.png]: https://img-blog.csdnimg.cn/2021011115554468.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210111155659955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk=,size_16,color_FFFFFF,t_70