CenOS7下kafka集群搭建

心已赠人 2022-05-16 04:57 185阅读 0赞

# **kafka→分布式发布-订阅消息系统** #

## 一、kafka简介 ##

### 1.kafka是什么？ ###

*  最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。
 *  是一个分布式的，可划分的，多订阅者,冗余备份的持久性的服务。
 *  同时为发布和订阅提供高吞吐量。每秒可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）。
 *  kafka的优点
 *  降低系统组网复杂度。
 *  降低编程复杂度，各个子系统不再是相互协商接口，各个子系统类似插口插在插座上，Kafka 承担高速数据总线的作用。
 *  分布式系统，易于向外扩展。所有的 producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。
 *  可进行持久化操作。将消息持久化到磁盘，可以防止数据丢失。

### 2.kafka核心概念 ###

*  消息的发布（publish）称做producer。
 *  消息的订阅（subscribe）称做consumer。
 *  中间的存储阵列称做broker。
 *  多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。
 *  producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。

### 3.kafka的应用场景？ ###

*  处理活跃的流式数据。
 *  同时处理在线应用（消息）和离线应用（数据文件，日志）。
 *  大数据系统中的数据流转。

### 4.其他消息队列介绍 ###

*  RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。
 *  ZeroMQ：号称最快的消息队列系统，尤其针对大吞吐量的需求场景，擅长的高级/复杂的队列，但是技术也复杂，并且只提供非持久性的队列。
 *  ActiveMQ：Apache下的一个子项，类似ZeroMQ，能够以代理人和点对点的技术实现队列。
 *  Redis：是一个key-Value的NOSql数据库，但也支持MQ功能，数据量较小，性能优于RabbitMQ，数据超过10K就慢的无法忍受。

### 5.kafka版本下载 ###

*  http://kafka.apache.org/downloads
 *  下载最新版本稳定版的安装包，如下图所示。

![70][]

## 二、kafka安装 ##

### 1.软件环境 ###

*  CentOS7
 *  JDK1.8
 *  kafka10.1.1

### 2.安装准备 ###

安装zookeeper单机版并启动

### 3.kafka安装和启动 ###

*  输入 mkdir /usr/local/kafka建立kafka目录
 *  ![70 1][]
 *  将下载好的tar包放到该目录
 *  ![70 2][]
 *  上传tar包到 /usr/local/kafka 并解压，进入解压后的目录

![70 3][]

*  自定义一个放kafka日志的目录，例如我这里在kafka解压目录下新建一个log目录

输入mkdir /usr/local/kafka/log

![70 4][]

*  输入cp /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties.bak
 *  vi  /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties

输入以下内容：

<table style="width:589px;"> 
 <tbody> 
 <tr> 
 <td style="width:588px;"> # broker的全局唯一编号，不能重复 broker.id=0 # 用来监听链接的端口，producer或consumer将在此端口建立连接 port=9092 # 处理网络请求的线程数量 num.network.threads=3 # 用来处理磁盘IO的线程数量 num.io.threads=8 # 发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 # 接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 # 请求套接字的缓冲区大小 socket.request.max.bytes=104857600 # kafka运行日志存放的路径 log.dirs=/usr/local/kafka/log # topic在当前broker上的分片个数 num.partitions=2 # 用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 # segment文件保留的最长时间，超时将被删除 log.retention.hours=168 # 滚动生产新的segment文件的最大时间 log.retention.hours=168 # zookeeper集群的地址，可以是多个，多个之间用逗号分割 zookeeper.connect=master:2181,node1:2181,node2:2181 #ZooKeeper的最大超时时间，就是心跳的间隔，若是没有反映，那么认为已经死了，不易过大zookeeper.connection.timeout.ms=6000 </td> 
 </tr> 
 </tbody> 
</table>

![70 5][]

*  在master主机上，任意目录输入

scp -r /usr/local/kafka/ root@node1:/usr/local/将文件分发到节点node1上

scp -r /usr/local/kafka/root@node2:/usr/local/将文件分发到节点node2上

![70 6][]

*  再次修改配置文件

依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

*  输入cp  /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties.bak
 *  vi  /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties

输入以下内容：

再次修改配置文件

输入cd /usr/local/kafka/kafka\_2.11-0.10.1.1/config/进入config目录下 vi  server.properties

依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

![70 7][]

*  依次在各节点上启动kafka

进入kafka的bin目录，cd /usr/local/kafka/kafka\_2.11-0.10.1.1/bin/,输入 ./kafka-server-start.sh /usr/local/kafka/kafka\_2.11-0.10.1.1/config/server.properties  启动kafka

*  克隆一个会话，可输入 ps aux|grep kafka 查看进程

### 4.kafka测试 ###

*  cd /usr/local/kafka/kafka\_2.11-0.10.1.1/bin/
 *  进入kafka的bin目录，输入 ./kafka-console-producer.sh --broker-list master:9092 --topic test  运行producer
 *  再克隆一个会话，进入kafka的bin目录，输入 *./kafka-console*\-consumer.sh --zookeeper master:2181 --topic test --from-beginning  运行consumer
 *  在producer窗口输入一些内容，然后查看consumer窗口，可以查看到输入的内容，证明kafka连通性没问题

[70]: /images/20220516/46a587afb92041ca962b29d8523828ed.png
[70 1]: /images/20220516/201e58efb07c46b88653f5cdbcc4259a.png
[70 2]: /images/20220516/386df0022eb2402baca3e554fe83fff2.png
[70 3]: /images/20220516/fa62683c616c469a8b1659fa7f9f77a3.png
[70 4]: /images/20220516/309fdcfb5dc84885bc2fdeadc9686531.png
[70 5]: /images/20220516/93f2213fb5f441249d547e2646db4e42.png
[70 6]: /images/20220516/f3c56563cd334ca08948208299e1cbd1.png
[70 7]: /images/20220516/a588fed6d8094539ae51d0316a56b298.png