处理K8S中日志收集filebeat报异常

╰+攻爆jí腚メ 2022-11-15 14:09 156阅读 0赞

> 处理K8S中日志收集filebeat报异常

##### 错误信息 #####

INFO producer/broker/51 maximum request accumulated, waiting for space

##### 解决办法 #####

1、修改filebeat的配置文件添加如下：

topic: '%{[fields][log_type]}'   
          partition.round_robin:
            reachable_only: false
          required_acks: 1
          compression: gzip
          max_message_bytes: 100000000

[参考][Link 1]：  
https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html\#kafka-max\_message\_bytes  
2、加大容器的内存

"resources": { 
                  "limits": { 
                    "cpu": "500m",
                    "memory": "524Mi"
                  },
                  "requests": { 
                    "cpu": "100m",
                    "memory": "100Mi"
                  }
                },

"resources": { 
                  "limits": { 
                    "cpu": "1500m",
                    "memory": "1524Mi"
                  },
                  "requests": { 
                    "cpu": "100m",
                    "memory": "100Mi"
                  }
                },

[Link 1]: https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html#kafka-max_message_bytes

发表评论取消回复

表情：

评论列表（有 0 条评论，156人围观）

还没有评论，来说两句吧...

相关阅读

相关 docker 启动k8s异常处理

文章目录场景现象原因解决突击面试场景 docker 桌面版启动k8s；环境

青旅半醒/ 2024年04月08日 09:55/ 0 赞/ 17 阅读

相关 docker安装filebeat 进行日志收集

1.介绍 filebeat和beats的关系首先filebeat是Beats中的一员。　　Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早

Dear 丶/ 2024年03月31日 11:49/ 0 赞/ 25 阅读

相关 elfk收集k8s日志（二）

本文介绍通过elk + filebeat方式收集k8s日志，其中filebeat以sidecar方式部署。elfk最新版本：7.6.2 -------------------

秒速五厘米/ 2023年02月10日 07:54/ 0 赞/ 43 阅读

相关 ELK+Filebeat+Kafka,SpringBoot异常日志收集

ELK+Filebeat+Kafka,SpringBoot异常日志收集概述 SpringBoot项目日志输出格式化配置Filebeat汇集换行的日志

小咪咪/ 2023年01月17日 11:52/ 0 赞/ 135 阅读

相关 K8S 使用 SideCar 模式部署 Filebeat 收集容器日志

> 推荐阅读 > > Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_

川长思鸟来/ 2022年12月19日 09:25/ 0 赞/ 98 阅读

相关 k8s场景下日志处理

现状当我们的应用部署在k8s的环境中以后，日志的处理也会成为一个需要研究的课题。相比于传统的环境，日志会伴随着容器的重启而消失，解决方案目前有ELK(EFK)和持久卷。

悠悠/ 2022年12月13日 01:37/ 0 赞/ 171 阅读

相关 ELK 日志收集：Filebeat, Logstash, Elasticsearch

文章目录 1, 数据收集引擎：Logstash (监听端口以接收数据，并转发到目标端） 2, 数据源端：Filebeat (发送日志数据给监听端口） 3

╰半橙微兮°/ 2022年11月16日 01:30/ 0 赞/ 180 阅读

相关处理K8S中日志收集filebeat报异常

> 处理K8S中日志收集filebeat报异常错误信息 INFO producer/broker/51 maximum request accumulated, wa

╰+攻爆jí腚メ/ 2022年11月15日 14:09/ 0 赞/ 157 阅读

相关日志实时收集之FileBeat+Kafka

2.2 数据内容样例 58.215.204.118 - - \[18/Sep/2013:06:51:36 +0000\] "GET /wp-includes/js/jque

野性酷女/ 2022年05月12日 17:34/ 0 赞/ 149 阅读

相关 k8s笔记8-部署filebeat+ELK日志方案

仅供本人学习、复习使用日志就是一组数据，数据即价值 k8s系统的组件日志 k8s cluster里面部署的应用程序日志 ![在这里插入图片描述][waterma

冷不防/ 2022年03月06日 07:50/ 0 赞/ 789 阅读