logstash 和filebeat 关系

喜欢ヅ旅行 2023-01-07 14:27 218阅读 0赞

logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。

1. logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。甚至最后我决定用filebeat作为日志采集端工具的时候，还有人问我为什么不用flume,logstash等采集工具。  
2. logstash出现时间要比filebeat早许多，随着时间发展，logstash不仅仅是一个日志采集工具，它也是可以作为一个日志搜集工具，有丰富的input|filter|output插件可以使用。常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容上送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。上送到elasticsearch。logstash详细信息可前往[https://www.elastic.co/][https_www.elastic.co]  
3. logstash是使用Java编写，插件是使用jruby编写，对机器的资源要求会比较高，网上有一篇关于其性能测试的报告。之前自己也做过和filebeat的测试对比。在采集日志方面，对CPU，内存上都要比前者高很多。[LogStash::Inputs::Syslog 性能测试与优化][LogStash_Inputs_Syslog]  
4. filebeat也是elastic.公司开发的，其官方的说法是为了替代logstash-forward。采用go语言开发。代码开源。[elastic/beats][elastic_beats] filebeat是beats的一个文件采集工具，目前其官方基于libbeats平台开发的还有[Packetbeat][]， [Metricbeat][]， [Winlogbeat][]。filebeat性能非常好，部署简单。

从关系上看filebeat 是替代 **Logstash Forwarder** 的下一代 **Logstash** 收集器，为了更快速稳定轻量低耗地进行收集工作，它可以很方便地与 **Logstash** 还有直接与 **Elasticsearch** 进行对接，它们之间的逻辑与拓扑可以参看 [Beats 基础][Beats]，具体的使用可以查看下列的架构，这个也是很多大牛推荐的架构。

![1f5eb9961990dd17c78fd2783e7fea96.png][]

[https_www.elastic.co]: https://link.zhihu.com/?target=https%3A//www.elastic.co
[LogStash_Inputs_Syslog]: https://link.zhihu.com/?target=http%3A//chenlinux.com/2014/10/18/performance-testing-tunning-for-logstash-inputs-syslog/
[elastic_beats]: https://link.zhihu.com/?target=https%3A//github.com/elastic/beats
[Packetbeat]: https://link.zhihu.com/?target=https%3A//github.com/elastic/beats/tree/master/packetbeat
[Metricbeat]: https://link.zhihu.com/?target=https%3A//github.com/elastic/beats/tree/master/metricbeat
[Winlogbeat]: https://link.zhihu.com/?target=https%3A//github.com/elastic/beats/tree/master/winlogbeat
[Beats]: https://link.zhihu.com/?target=http%3A//soft.dog/2015/12/24/beats-basic/%23section
[1f5eb9961990dd17c78fd2783e7fea96.png]: /images/20221119/6db88623d2c944fe964417883400c690.png