KafKa(一)：Kafka的介绍

清疚 2023-07-21 15:29 27阅读 0赞

### 一、kafka概念 ###

一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性，而被广泛应用。

### 二、kafka特性 ###

*  **高吞吐量，低延迟**：kafka每秒可以处理几十万条信息，它的延迟最多只有几毫秒，每个主题可以分多个分区，消费组对分区   进行消费操作。
 *  **可拓展性**：kafka集群支持热拓展。
 *  **持久性、可靠性**：消息被持久化到本地磁盘，并且支持数据备份，防止数据丢失。
 *  **容错性**：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）。
 *  **高并发**：支持数千个客户端同时读写。

### 三、使用场景 ###

*  **日志收集**：一个公司可以使用kafka收集各种服务log,通过kafka以统一接口服务的方式，开放给各种consumer,例如Hadoop、H base、Solr等。
 *  **消息系统**：[解耦合][Link 1]生产者和消费者、缓存消息等。
 *  **用户活动跟踪**：kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic(主题)来做实时的监控分析，或者装载到Hadoop、数据仓库中做离线分析和数据挖掘。
 *  运营指标：kafka也迎来记录运营监控数据，包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。
 *  流式处理：比如spark streaming 和 storm.

### 四、kafka技术优势 ###

*  **可伸缩性**：Kafka两个重要的特性造就了它的可伸缩性，

1.  kafka在运行期间，可以轻松的扩展或者收缩（可以添加或者删除代理),而不会宕机。
2.  可以拓展一个kafka的主题来包含更多的分区，由于一个分区无法拓展到多个代理，所以它的容量受到代理磁盘空间的限制，能够增加分区和代理的数量意味着单个主题可以存储的数据量是没有限制的。

*  **容错性和可靠性：**kafka的设计方式使某个代理的故障可以被集群中的其他代理检测到，由于每个主题可以在多个代理上复        制，所以集群可以在不中断服务的情况下，从此类故障中恢复并且继续运行。
 *  **吞吐量**：代理能够以超快的速度有效的存储和检索数据。

Apache官网：[http://apache.org][http_apache.org]

Kafka官网：[http://kafka.apache.org][http_kafka.apache.org]

[Link 1]: https://blog.csdn.net/fangqiangqi/article/details/79826376
[http_apache.org]: http://apache.org
[http_kafka.apache.org]: http://kafka.apache.org