Kafka基本介绍

秒速五厘米 2022-09-22 04:57 168阅读 0赞

## 一、背景 ##

### 1、Why Kafka ###

以ActiveMQ为例，和Kafka同属于Apache，发展前景都十分被看好。但两种的设计目标却各有侧重。ActiveMQ可以支持多种协议、事务等，但在吞吐量上，他的Forwarding Bridge机制一直被很多人吐槽。但Kafka侧重点在大数据、分布式应用，他可以支持动态扩容（通过zk）。

Kafka是为分布式而生的，他主要来应对庞大的活动流数据。因此，强大的吞吐量是更重要的，为此，砍掉了很多复杂特性：如事务、分发策略等。

### 2、是什么 ###

Kafka是一个高吞吐量的分布式发布订阅消息系统，也可以叫做分布式消息中间件。

![这里写图片描述][20160628112124989]

## 二、相关概念 ##

### 1、AMQP ###

Advanced Message Queuing Protocol 高级消息协议，是一种应用层协议的开放标准。

作为一种协议，他提供的是一种标准、规范或者叫模型。为的是提供一种全行业广泛使用的标准中间件技术，来降低企业应用的开销。

### 2、Topic & Partition ###

Topic可以看作消息的分类，我们可以将一类业务划分为一个Topic。每个Topic中由一个或多个Partition。Partition是最小单位，类似一个FIFO队列。

如图：每个broker类似一个Server。

![这里写图片描述][20160628114212345]

### 3、Consumer Group ###

传统的消息中间件至少提供两种消息模型：点对点、发布订阅模型。但Kafka提出了消费者组的概念，来实现这两种模型。

> 规则是：一个消息可以被多个消费者消费，但只能被一个消费者组里的一个消费者消费。

听起来有点绕，直接上图。比如Server1中的P0消息，他可以被C1、C3消费，因为他们分属不同的Consumer Group。其他的消息也是如此。

> 在同一个Consumer Group中，Kafka实现了点对点模型。  
> 在不同的Group中，又实现了发布订阅模型。

![这里写图片描述][20160628114645850]

## 三、特性 ##

### 1、push vs pull ###

在消息系统中，发送消息的方式主要有push和pull两种。push是指直接将消息推送到用户，pull正好相反，需要消费者自己获取。

pull方法，消费者比较麻烦，需要自己拿，通常会定时拉取，可能消息推送不及时。push方法对于消费者（用户）来说，就便利很多了，他不需要你实时关注变化。

### 2、Replication ###

Kafka的副本设计是一大亮点，目的是为了保持更强的持久性和高可用性。自动的副本管理可以保证即使在某台服务器发生故障后，也不会造成数据丢失和服务不可用。

[20160628112124989]: /images/20220721/ff7efecf725246a2bd5fbdec95ea8953.png
[20160628114212345]: /images/20220721/0fe91742af9f450da47d12afc04f4566.png
[20160628114645850]: /images/20220721/3f2074d0724a4f6f896d303bab182a09.png

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka 基本概念以及框架介绍

背景及架构介绍一、背景什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。原本开发自LinkedIn，用

不念不忘少年蓝@/ 2022年10月03日 00:32/ 0 赞/ 153 阅读

相关 Kafka基本介绍

一、背景 1、Why Kafka 以ActiveMQ为例，和Kafka同属于Apache，发展前景都十分被看好。但两种的设计目标却各有侧重。ActiveMQ可以支持

秒速五厘米/ 2022年09月22日 04:57/ 0 赞/ 169 阅读

相关 kafka介绍

[kafka实战][kafka] 1. kafka介绍 1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式

Bertha 。/ 2022年05月29日 08:19/ 0 赞/ 167 阅读

相关 kafka基本概念

转载：[https://www.cnblogs.com/likehua/p/3999538.html][https_www.cnblogs.com_likehua_p_3999

港控/mmm°/ 2022年04月21日 17:46/ 0 赞/ 208 阅读

相关 KafKa基本原理

KafKa是一个分布式的消息队列，既然说到了消息队列那么也就意味着它的出现是为了解决通信问题的。具体来说就是发送消息的一方（在这里我们称之为生产者）会将数据写到消息队列中然后消

迷南。/ 2022年04月13日 02:46/ 0 赞/ 225 阅读

相关 kafka介绍

Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高

阳光穿透心脏的1/2处/ 2022年02月16日 09:47/ 0 赞/ 195 阅读

相关第1节 kafka消息队列：2、kafka的架构介绍以及基本组件模型介绍

3、kafka的架构模型 1、producer：消息的生产者，主要是用于生产消息的。主要是接入一些外部的数据源，从外部获取数据，比如说我们可以从flume获取数据，还可以

电玩女神/ 2021年11月17日 05:02/ 0 赞/ 181 阅读

相关 kafka介绍

Kafka是什么 Kafka是一个由Scala和java编写的高吞吐量的分布式发布订阅消息官网地址：[http://kafka.apache.org/intro][h

雨点打透心脏的1/2处/ 2021年11月02日 03:36/ 0 赞/ 281 阅读

相关 kafka介绍

kafka消息队列模型点对点点对点模型是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送

朱雀/ 2021年09月30日 11:34/ 0 赞/ 292 阅读

相关 kafka基本概念

Kafka就是一款基于发布与订阅的梢息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务的持久记录，

小灰灰/ 2020年05月18日 07:21/ 0 赞/ 971 阅读