Kafka 基本概念以及框架介绍

不念不忘少年蓝@ 2022-10-03 00:32 148阅读 0赞

**背景****及架构介绍**

一、 背景

什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。

原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。

二、 简单介绍

kafka是分布式的，基于发布/订阅的消息系统。

1、 即使对TB级以上数据也能保证常数时间复杂度的访问性能。

2、 高吞吐率：即使在非常廉价的商用机器上也能做到单机支持每秒100k条以上消息的传输。

3、 支持分区，消息分布式消费，但是只能保证每个partition内的消息顺序传输。并且支持在线水平扩展。

为何使用消息中间件呢，大家肯定接触过rabbitmq、activemq、redis等，估计有很多感触。我就不详细描述了，这个只能亲身参加过大的技术架构，自己身在其中，并且感受到不用消息中间件和用的区别。

三、 架构

了解架构之前，我们先了解一下基本名词。

Broker：安装了kafka的服务器就是一个broker。

Topic：消息的类比，最好一类数据定一个topic去存储传输。

Partition:分区，topic可以定分到几个分区中。

Producer：发送消息，发送者。

Consumer：消费消息，消费者。

Consumer Group：每个Consumer属于一个特定的Consumer Group。

![1518584-20190222082625315-313579760.png][]

从图中来看，kafka集群包含若干个producer和consumer以及broker，还有一个zk集群。Producer通过push模式将数据发送到broker，Consumer通过pull模式拉取数据。

Producer发送消息到broker时，根据partition机制选择分不到哪一个partition，设置合理的情况下，所有消息可

以均匀分不到不同的partition里，实现了负载均衡。

转载于:https://www.cnblogs.com/Tonyzczc/p/10416269.html

[1518584-20190222082625315-313579760.png]: /images/20220109/399c284b8424400f93a0e60815fc8c7f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，148人围观）

还没有评论，来说两句吧...

相关阅读

相关 ElasticSearch入门-基本概念介绍以及安装

Elasticsearch基本概念 Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与传统关系型数据库类似。传统关系型数据库...

深藏阁楼爱情的钟/ 2024年04月18日 12:09/ 0 赞/ 7 阅读

相关 Kafka 基本概念以及框架介绍

背景及架构介绍一、背景什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。原本开发自LinkedIn，用

不念不忘少年蓝@/ 2022年10月03日 00:32/ 0 赞/ 149 阅读

相关 elasticsearch基本概念介绍

elasticsearch基本概念介绍本文主要参考： 1、https://www.elastic.co/guide/en/elasticsearch/referenc

古城微笑少年丶/ 2022年09月29日 15:52/ 0 赞/ 183 阅读

相关 Kafka基本介绍

一、背景 1、Why Kafka 以ActiveMQ为例，和Kafka同属于Apache，发展前景都十分被看好。但两种的设计目标却各有侧重。ActiveMQ可以支持

秒速五厘米/ 2022年09月22日 04:57/ 0 赞/ 162 阅读

相关 java 集合的概念以及集合框架介绍

1 集合的概念集合框架是为表示和操作"多个对象"而规定的一种统一的标准的体系结构。任何集合框架都包含三大块内容：对外的接口、接口的实现和对集合运算的算法。接口

红太狼/ 2022年06月10日 07:40/ 0 赞/ 154 阅读

相关 RabbitMQ基本概念介绍

目录一、Producer：生产者，消息的投递方二、Consumer ：消费者，就是接收消息的一方三、Broker ：消息中间件的服务节点四、Queue ：

妖狐艹你老母/ 2022年05月13日 01:42/ 0 赞/ 280 阅读

相关 kafka基本概念

转载：[https://www.cnblogs.com/likehua/p/3999538.html][https_www.cnblogs.com_likehua_p_3999

港控/mmm°/ 2022年04月21日 17:46/ 0 赞/ 202 阅读

相关第1节 kafka消息队列：2、kafka的架构介绍以及基本组件模型介绍

3、kafka的架构模型 1、producer：消息的生产者，主要是用于生产消息的。主要是接入一些外部的数据源，从外部获取数据，比如说我们可以从flume获取数据，还可以

电玩女神/ 2021年11月17日 05:02/ 0 赞/ 179 阅读

相关并发基本概念介绍

1.线程的几种状态线程有以下几种状态： ![929184-20170828214326718-222943735.png][] 1.NEW：已经创建，但是还没有执

蔚落/ 2021年09月29日 03:20/ 0 赞/ 285 阅读

相关 kafka基本概念

Kafka就是一款基于发布与订阅的梢息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务的持久记录，

小灰灰/ 2020年05月18日 07:21/ 0 赞/ 966 阅读