Kafka流处理平台

客官°小女子只卖身不卖艺 2021-11-23 14:32 289阅读 0赞

### 什么是Kafka ###

kafka在未进入Apache的时候，是LinkedIn开源。LinkedIn是非常出名的一个开源平台，它为我们带来了非常多的开源产品：分布式数据同步框架Databus 、高性能计算引擎Cubert、 Java异步处理框架 ParSeq等。
    	kafka官方是这么解释的：
    	![3个特性](https://img-blog.csdnimg.cn/20190726213724566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
    	1、消息队列  2、数据流处理平台（可以容错） 3、数据产生时处理
    	![在这里插入图片描述](https://img-blog.csdnimg.cn/201907262139573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
    	这个就不翻译了，太难，就是数据流处理。

### Kafka基本概念 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 4]

### Kafka基本结构 ###

官方图片结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 5]  
Kafka是强依赖Zookeeper的：  
1、Broker信息保存在zk  
2、Topic partition信息保存在zk 等  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 6]  
消息结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 7]

### Kafka特点 ###

1、多分区 多个Partition  
2、多副本（有一个Leader负责读写） 提供容错性扩展性  
3、多个订阅者，订阅者数量小于等于Partition  
4、基于Zookeeper调度 zk特性

5、高性能 ，高并发  
6、低延迟  
7、时间复杂度O（1）

8、数据可持久化  
9、容错性  
10 、水平扩展  
11、消息自动平衡

### Kafka应用场景 ###

1、消息队列  
2、行为监控  
3、日志处理  
4、流处理  
。。。

### Kafka简单应用 ###

这一章节简单介绍一下Kafka基本概念，下一节做一个简单的demo，谢谢观看

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70]: /images/20211122/d488cd18ed2e477190979e1c45e2661d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 1]: /images/20211122/204c9008787a4a5796ada934856fbc57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 2]: /images/20211122/20fc197ae5ad435cb9506edc24a5f2ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 3]: /images/20211122/8f7c55835b0c4c4c8c02eee8b76fb526.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 4]: /images/20211122/a25a26857a784744938ae2b56b3be86f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 5]: /images/20211122/da327f07008c4250b24e48212a3fd111.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 6]: /images/20211122/40497299b84548fdb082cdf851ab7590.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU_size_16_color_FFFFFF_t_70 7]: /images/20211122/accf7455cb854fe18c8a310cf0e6ea04.png