入门学习架构师必备技能之Kafka

缺乏、安全感 2023-10-10 13:54 37阅读 0赞

入门学习架构师必备技能之Kafka，Kafka是一个开源流处理平台由Scala和Java编写，很多小伙伴目前还没晋升到架构师的行列中可能接触不到，但是可以提前学习一下相关的知识，为了将来的发展做好准备。

Kafka是一个开源流处理平台由Scala和Java编写。高吞吐量的分布式发布订阅消息系统可以处理消费者在网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，今天我们一起来学习Kafka的知识相关知识吧！

**一、Kafka有哪些优势？**

1、多生产者

可以无缝地支持多个生产者，不管客户端在使用单个主题还是多个主题。

2、多消费者

支持多个消费者从一个单独的消息流上读取数据，而且消费者之间互不影响。

3、基于磁盘的数据存储

支持消费者非实时地读取消息，由于消息被提交到磁盘，根据设置的规则进行保存。当消费者发生异常时候，意外离线，由于有持久化的数据保证，可以实现联机后从上次中断的地方继续处理消息。

4、伸缩性

用户在开发阶段可以先试用单个broker，再扩展到包含3个broker的小型开发集群，然后随着数据量不断增长，部署到生产环境的集群可能包含上百个broker。

5、高性能

Kafka可以轻松处理巨大的消息流，在处理大量数据的同事，它还能保证亚秒级的消息延迟。

**二、Kafka常见的使用场景有哪些？**

1、消息

kafka更好的替换传统的消息系统，消息系统被用于各种场景（解耦数据生产者，缓存未处理的消息等），与大多数消息系统比较，kafka有更好的吞吐量，内置分区，副本和故障转移，这有利于处理大规模的消息。

根据经验消息往往用于较低的吞吐量，但需要低的端到端延迟，并需要提供强大的耐用性的保证。在这一领域的kafka比得上传统的消息系统，如ActiveMQ或RabbitMQ等。

2、网站活动追踪

kafka原本的使用场景是用户的活动追踪，网站的活动（网页游览，搜索或其他用户的操作信息）发布到不同的话题中心。这些消息可实时处理，实时监测，也可加载到Hadoop或离线处理数据仓库。

3、指标

kafka也常常用于监测数据。分布式应用程序生成的统计数据集中聚合。

4、日志聚合

许多人使用Kafka作为日志聚合解决方案的替代品。日志聚合通常从服务器中收集物理日志文件，并将它们放在中央位置（可能是文件服务器或HDFS）进行处理。Kafka抽象出文件的细节，并将日志或事件数据更清晰地抽象为消息流。这允许更低延迟的处理并更容易支持多个数据源和分布式数据消费。

5、流处理

kafka中消息处理一般包含多个阶段。其中原始输入数据是从kafka主题消费的，然后汇总，丰富，或者以其他的方式处理转化为新主题，例如，一个推荐新闻文章，文章内容可能从“articles”主题获取；然后进一步处理内容，得到一个处理后的新内容，最后推荐给用户。

这种处理是基于单个主题的实时数据流。从0.10.0.0开始，轻量，但功能强大的流处理，就可以这样进行数据处理了。除了Kafka Streams，还有ApacheStorm和Apache Samza可选择。

6、事件采集  
事件采集是一种应用程序的设计风格，其中状态的变化根据时间的顺序记录下来，kafka支持这种非常大的存储日志数据的场景。

7、提交日志

kafka可以作为一种分布式的外部日志，可帮助节点之间复制数据，并作为失败的节点来恢复数据重新同步，kafka的日志压缩功能很好的支持这种用法，这种用法类似于Apacha BookKeeper项目。

除了以上关于kafka的知识点外，想成为一名合格的架构师要更多的知识、技能储备。

发表评论取消回复

表情：

评论列表（有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读

相关入门学习架构师必备技能之Kafka

入门学习架构师必备技能之Kafka，Kafka是一个开源流处理平台由Scala和Java编写，很多小伙伴目前还没晋升到架构师的行列中可能接触不到，但是可以提前学习一下相关的知识

缺乏、安全感/ 2023年10月10日 13:54/ 0 赞/ 38 阅读

相关高级前端架构师必备技能（marksheng）

首先，前端架构师肯定是掌握好基本的前端技术基础的，正所谓一转多长，首先你得先精通一门，其次，掌握前端技术的同时，还要了解前端技术之外的技能。跳出前端这个思维，才能看到的更多。总

红太狼/ 2022年11月19日 01:13/ 0 赞/ 233 阅读

相关互联网架构师必备技能(持续更新)

互联网架构师必备技能 > 本文内容收集自互联网，方便大家查漏补缺，构建自己的知识网络技术选型⽹关：Nginx、Kong、Zuul 缓存：Redis

桃扇骨/ 2022年10月13日 15:57/ 0 赞/ 224 阅读

相关架构师必备技能:Maven Archetype生成项目模板

![5394d82b08125b6d4584e1dc35b08a47.gif][] 基本每个公司的项目都有一套模板，只要开新项目直接复制一份改改包名和一些配置就初始化了一个新

待我称王封你为后i/ 2022年09月09日 11:59/ 0 赞/ 241 阅读

相关架构师成长之路(2)--架构师必备技能（目标）

前言："比你牛B的人比你还努力,你有什么资格不去奋斗" 哲学家常思考的问题：" 我是谁？"" 我从哪里来？"" 要到哪里去？不只是哲学家，我想每个人都有自己对这三个问

末蓝、/ 2022年08月01日 00:24/ 0 赞/ 293 阅读

相关架构师成长之路(2)--架构师必备技能（目标）

序言: "比你牛B的人比你还努力,你有什么资格不去奋斗" 前言：哲学家常思考的问题：" 我是谁？"" 我从哪里来？"" 要到哪里去？不只是哲学家，我想每个

￡神魔★判官ぃ/ 2022年05月31日 00:11/ 0 赞/ 322 阅读

相关 Java架构师必备技能

1、Java基础技术体系掌握牢固: JVM内存分配垃圾回收类装载机制 JVM性能优化反射机制多线程网络编程

我会带着你远行/ 2022年03月08日 14:05/ 0 赞/ 322 阅读

相关架构师技能图谱

架构师技能图谱下载地址：[架构师技能图谱][Link 1] 技术电子书目录：[点击查看][Link 2] 版权声明拒绝盗版，支持正版，购买正版书籍请移步京东或者线下

浅浅的花香味﹌/ 2022年02月01日 22:51/ 0 赞/ 332 阅读

相关【技能图谱】架构师技能图谱

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

偏执的太偏执、/ 2021年09月29日 06:38/ 0 赞/ 496 阅读

相关 java培训师的发展前景，架构师必备技能

什么是 Spring Boot Java (面向对象编程语言)经过30多年的发展，产生了非常多的优秀框架。Spring (为解决企业应用程序开发的复杂性而创建的框架)曾是

爱被打了一巴掌/ 2021年07月20日 12:05/ 0 赞/ 491 阅读