kafka架构分析和配置使用整理

待我称王封你为后i 2022-10-02 13:46 105阅读 0赞

## 一、软件简介 ##

Apache Kafka是开源的分布式流处理平台,也是高吞吐量的分布式跨平台订阅消息系统,主要包含Broker服务器、Topic消息类别、Partition物理分区、Producer生产者、Consumer消费者、Consumer Group消费组部分。

## 二、架构图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 2]

#### 总结： ####

###### •`Broker` ： Kafka消息服务器，消息中心。一个Broker可以容纳多个Topic。 ######

###### •`Producer` ：消息生产者，就是向Kafka broker发消息的客户端。 ######

###### •`Consumer` ：消息消费者，向Kafka broker取消息的客户端。 ######

###### •`Zookeeper` ：管理Producer，Broker，Consumer的动态加入与离开。 ######

###### •`Topic` ：可以为各种消息划分为多个不同的主题，Topic就是主题名称。`Producer`可以针对某个主题进行生产，Consumer可以针对某个主题进行订阅。 ######

###### •`Consumer Group`： Kafka采用广播的方式进行消息分发，而Consumer集群在消费某Topic时， Zookeeper会为该集群建立Offset消费偏移量，最新Consumer加入并消费该主题时，可以从最新的Offset点开始消费。 ######

###### •`Partition`：Kafka采用对数据文件切片（Partition）的方式可以将一个Topic可以分布存储到多个Broker上，一个Topic可以分为多个Partition。在多个Consumer并发访问一个partition会有同步锁控制。 ######

--------------------

## 三、基本概念 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 3]

--------------------

## 四、部署安装 ##

# 1.安装JDK
    
    # 2.安装启动zookeeper
    
    # 3.解压kafka_2.11-0.9.0.1.tgz
    > tar  -zvxf  kafka_2.11-0.9.0.1.tgz
    > cd  kafka_2.11-0.9.0.1

#  4.修改配置文件
    cd kafka_2.12-2.1.0/config/
    vim server.properties
    
    
    broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
    advertised.listeners=PLAINTEXT://ip1:9092  #ip1为外网IP
    listeners=PLAINTEXT://ip2:9092  #ip2为内网ip
    
    #zookeeper地址和端口， Kafka支持内置的Zookeeper和引用外部的Zookeeper
    zookeeper.connect=localhost:2181

# 5.启动kafka
    # 常规模式启动kafka
    >bin/kafka-server-start.sh   config/server.properties 
    # 进程守护模式启动kafka
    >nohup bin/kafka-server-start.sh config/server.properties 
    
    
    # 6.关闭kafka
    >bin/kafka-server-stop.sh

#### kafka中`server.properties`的常用配置 ####

broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
    port=19092 #当前kafka对外提供服务的端口默认是9092
    host.name=192.168.7.100 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。
    num.network.threads=3 #这个是borker进行网络处理的线程数
    num.io.threads=8 #这个是borker进行I/O处理的线程数
    log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
    socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
    socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
    socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
    num.partitions=1 #默认的分区数，一个topic默认1个分区数
    log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
    message.max.byte=5242880  #消息保存的最大值5M
    default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
    replica.fetch.max.bytes=5242880  #取消息的最大直接数
    log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
    log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
    log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
    zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口
    advertised.listeners：发布到ZooKeeper上供客户端使用的监听器，若未配置，则使用配置的listeners属性
    listeners：逗号分隔的需要监听的URL和协议

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70]: /images/20220112/ea1479b0d08c49f5b53bbabd7238cc54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 1]: /images/20220112/7555b3be0f104460b422094100119d37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 2]: /images/20220112/c88fc8ef54d240438446cbdb679eacde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNDA0Mzk1_size_16_color_FFFFFF_t_70 3]: /images/20220112/12e572bad0ca419a9fe74a9f90a9cba8.png