Kafka 分布式消息队列介绍

深碍√TFBOYSˉ_ 2022-08-08 14:47 225阅读 0赞

# [Kafka 分布式消息队列介绍][Kafka] #

Kafka 分布式消息队列 类似产品有JBoss、MQ

一、由Linkedln 开源，使用scala开发，有如下几个特点：

（1）高吞吐

（2）分布式

（3）支持多语言客户端 （C++、Java）

二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供可以向Broker内发布消息、消费消息，服务器端提供消息的存储等功能

Kafka 特点是支持分区、分布式、可拓展性强

三、Kafka 的消息分几个层次

(1)Topic 一类主题

(2)Partition 默认每个消息有2个分区，创建Topic可以指定分区数，1天有 1亿行可以分8个分区，如果每天几十万行就一个分区吧

(3)Message 是每个消息

四、数据处理流程

1.生产者 生产消息、将消息发布到指定的topic分区

2.kafka 集群接收到producer发过来的消息后，将其持久化到硬盘，可以指定时长，而不关注消息是否被消费

3.consumer从kafka集群pull或push方式，并控制获取消息的offset偏移量，consumer重启时需要根据offset开始再次消费数据，consumer自己维护offset

五、kafka如何实现高吞吐量

1.充分利用磁盘的顺序读写  
2.数据批量发送  
3.数据压缩  
4.Topic划分多个partition

六、kafka 如何实现load balance &HA

1）producer 根据用户指定的算法，将消息发送到指定的partition  
2）存在多个partition，每个partition存在多个副本replica，每个replica分布在不同的broker节点上  
3）每个partition需要选取lead partition，leader partition负责读写，并由zookeeper负责fail over 快速失败  
4）通过zookeeper管理broker与consumer的动态加入与离开

七、扩容

当需要增加broker节点时，新增的broker会向zookeeper注册，而producer及consumer会根据zookeeper上的watcher感知这些变化，并及时作出调整

[Kafka]: http://www.cnblogs.com/oftenlin/p/4045924.html

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关分布式消息队列RocketMQ介绍

一、MQ概述介绍： MQ是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API 的软件系统。消息即数据。一般消息的体量

梦里梦外;/ 2024年04月07日 11:42/ 0 赞/ 77 阅读

相关分布式消息队列 -- kafka基础知识相关

Kafkas是什么？ Kafka是一个分布式消息队列, 也是一个开源消息系统，由Scala语言写成。kafka对消息保存时根据Topic进行归类，发送消息者称为Produ

客官°小女子只卖身不卖艺/ 2023年10月05日 08:12/ 0 赞/ 39 阅读

相关分布式消息队列

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量销峰等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的

我会带着你远行/ 2023年01月02日 01:28/ 0 赞/ 137 阅读

相关 3.5.3 kafka分布式消息队列-Kafka架构深入

目录 1.Kafka 工作流程及文件存储机制 1.1 Kafka 工作流程 1.2 Kafka文件存储机制 2.Kafka生产者 2.1 分区策略 2.2 数据可靠

怼烎@/ 2022年12月28日 12:41/ 0 赞/ 301 阅读

相关 3.5.1 kafka分布式消息队列-Kafka概述

目录 1.定义 2.消息队列 2.1 传统消息队列的应用场景 2.2 消息队列的两种模式 2.3 Kafka 基础架构 --------------------

不念不忘少年蓝@/ 2022年12月28日 11:24/ 0 赞/ 274 阅读

相关 kafka分布式消息系统介绍

kafka分布式消息系统介绍 Kafka\[1\]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据

淩亂°似流年/ 2022年08月12日 14:30/ 0 赞/ 221 阅读

相关 Kafka 分布式消息队列介绍

[Kafka 分布式消息队列介绍][Kafka] Kafka 分布式消息队列类似产品有JBoss、MQ 一、由Linkedln 开源，使用scala开发，有如下几个特

深碍√TFBOYSˉ_/ 2022年08月08日 14:47/ 0 赞/ 226 阅读

相关分布式系统基础-消息队列之Kafka

相对于前面所说的那些MQ前辈们，Kafka可谓是不走寻常路的“天才少年”。与久负盛名的前辈们不同，Kafka从一开始就是走“互联网的野路子”，它抛弃了很多华而不实的企业级特性，

我就是我/ 2022年06月07日 11:47/ 0 赞/ 257 阅读

相关分布式消息队列Kafka集群安装

[kafka][]是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上

电玩女神/ 2022年05月20日 02:27/ 0 赞/ 205 阅读

相关消息队列-Kafka

1. Kafka概述 Kafka是由Apache软件基金会开发的一个开源流处理平台；Kafka是一种高吞吐量的分布式发布订阅消息系统。kafka对消息保存时根据Topic

小鱼儿/ 2022年02月24日 06:50/ 0 赞/ 339 阅读