kafka介绍与搭建(单机版)

旧城等待， 2022-02-02 08:29 330阅读 0赞

# [kafka介绍与搭建(单机版)][kafka] #

# 一、kafka介绍 #

## 1.1 主要功能 ##

根据官网的介绍，ApacheKafka®是*一个分布式流媒体平台*，它主要有3种功能：

1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因

2：It lets you store streams of records in a fault-tolerant way.以容错的方式记录消息流，kafka以文件的方式来存储消息流

3：It lets you process streams of records as they occur.可以再消息发布的时候进行处理

## 1.2 使用场景 ##

1：Building real-time streaming data pipelines that reliably get data between systems or applications.在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能

2：Building real-time streaming applications that transform or react to the streams of data。构建实时的流数据处理程序来变换或处理数据流，数据处理功能

## 1.3 详细介绍 ##

Kafka目前主要作为一个分布式的发布订阅式的消息系统使用，下面简单介绍一下kafka的基本机制

### **1.3.1 消息传输流程** ###

![1341090-20181129114224672-448105628.png][]

**Producer**即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic，上图展示了两个producer发送了分类为topic1的消息，另外一个发送了topic2的消息。

*  **Topic**即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息
 *  **Consumer**即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。

从上图中就可以看出同一个Topic下的消费者和生产者的数量并不是对应的。

### **1.3.2 kafka****服务器消息存储策略** ###

![1341090-20181129114249143-1048503168.png][]

谈到kafka的存储，就不得不提到分区，即partitions，创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中。

![1341090-20181129114319834-634546760.png][]

在每个分区中，消息以顺序存储，最晚接收的的消息会最后被消费。

### **1.3.3 与生产者的交互** ###

![1341090-20181129114349070-1317000863.png][]

生产者在向kafka集群发送消息的时候，可以通过指定分区来发送到指定的分区中

也可以通过指定均衡策略来将消息发送到不同的分区中

如果不指定，就会采用默认的随机均衡策略，将消息随机的存储到不同的分区中

### **1.3.4  与消费者的交互** ###

![1341090-20181129114410809-1696673276.png][]

在消费者消费消息时，kafka使用offset来记录当前消费的位置

在kafka的设计中，可以有多个不同的group来同时消费同一个topic下的消息，如图，我们有两个不同的group同时消费，他们的的消费的记录位置offset各不相同，不互相干扰。

对于一个group而言，消费者的数量不应该多余分区的数量，因为在一个group中，每个分区至多只能绑定到一个消费者上，即一个消费者可以消费多个分区，一个分区只能给一个消费者消费

因此，若一个group中的消费者数量大于分区数量的话，多余的消费者将不会收到任何消息。

# 二、Kafka安装与使用 #

## 2.1 下载 ##

你可以在kafka官网 [http://kafka.apache.org/downloads][http_kafka.apache.org_downloads]下载到最新的kafka安装包，选择下载二进制版本的tgz文件，这里我们选择的版本是2.12-2.1.0，目前的最新版

## 2.2 安装 ##

Kafka是使用scala编写的运行与jvm虚拟机上的程序，虽然也可以在windows上使用，但是kafka基本上是运行在linux服务器上，因此我们这里也使用linux来开始今天的实战。

首先确保你的机器上安装了jdk，**kafka需要java运行环境**，以前的kafka还需要zookeeper，新版的kafka已经内置了一个zookeeper环境，实验环境可以直接使用

说是安装，如果只需要进行最简单的尝试的话我们只需要解压到任意目录即可，这里我们将kafka压缩包解压到 / 目录

### 2.3   配置 ###

在kafka解压目录下下有一个config的文件夹，里面放置的是我们的配置文件

*  consumer.properites 消费者配置，这个配置文件用于配置于2.5节中开启的消费者，此处我们使用默认的即可
 *  producer.properties 生产者配置，这个配置文件用于配置于2.5节中开启的生产者，此处我们使用默认的即可
 *  server.properties kafka服务器的配置，此配置文件用来配置kafka服务器

目前仅介绍几个最基础的配置

*  **broker.id** 申明当前kafka服务器在集群中的唯一ID，需配置为integer,并且集群中的每一个kafka服务器的id都应是唯一的，我们这里采用默认配置即可
 *  **listeners** 申明此kafka服务器需要监听的端口号，如果是在本机上跑虚拟机运行可以不用配置本项，默认会使用localhost的地址，如果是在远程服务器上运行则必须配置，例如：

listeners=PLAINTEXT://192.168.91.129:9092。并确保服务器的9092端口能够访问

*  **zookeeper.connect** 申明kafka所连接的zookeeper的地址 ，需配置为zookeeper的地址，如果使用的是kafka高版本中自带zookeeper，使用默认配置即可。本文使用的是自己搭建的zookeeper，例如： *zookeeper.connect=192.168.91.128:2181*

## 基于docker 安装 ##

### 环境说明 ###

<table> 
 <tbody> 
  <tr> 
   <td>操作系统</td> 
   <td><span>IP地址</span></td> 
   <td>角色</td> 
   <td>软件版本</td> 
  </tr> 
  <tr> 
   <td><span>ubuntu-16.04.5-server-amd64</span></td> 
   <td>192.168.91.128</td> 
   <td>zookeeper</td> 
   <td>3.4.13</td> 
  </tr> 
  <tr> 
   <td><span>ubuntu-16.04.5-server-amd64</span></td> 
   <td>192.168.91.129</td> 
   <td>Kafka_server</td> 
   <td>2.12-2.1.0</td> 
  </tr> 
  <tr> 
   <td><span>ubuntu-16.04.5-server-amd64</span></td> 
   <td>192.168.91.131</td> 
   <td>Kafka_client</td> 
   <td>2.12-2.1.0</td> 
  </tr> 
 </tbody> 
</table>

### 安装zookeeper ###

关于 zookeeper 的安装，请参考链接：

[https://www.cnblogs.com/xiao987334176/p/10037490.html][https_www.cnblogs.com_xiao987334176_p_10037490.html]

### 安装kafka\_server ###

新建空目录

mkdir /opt/kafka_server_base

#### dockerfile ####

内容如下：

FROM ubuntu:16.04
    # 修改更新源为阿里云
    ADD sources.list /etc/apt/sources.list
    ADD kafka_2.12-2.1.0.tgz /
    # 安装jdk
    RUN apt-get update && apt-get install -y openjdk-8-jdk --allow-unauthenticated && apt-get clean all
    
    EXPOSE 9092
    # 添加启动脚本
    ADD run.sh .
    RUN chmod 755 run.sh
    ENTRYPOINT [ "/run.sh"]

#### run.sh ####

内容如下：

#!/bin/bash
    
    if [ -z $zookeeper ];then
        echo "zookeeper变量不能为空"
        exit 2
    fi
    
    cd /kafka_2.12-2.1.0
    # 设置zookeeper连接地址
    sed -i "123s/localhost/$zookeeper/" /kafka_2.12-2.1.0/config/server.properties
    
    # 设置外部访问地址,绑定域名。注意:此域名必须被docker解析
    echo "
    
    advertised.listeners=PLAINTEXT://kafka-1.default.svc.cluster.local:9092
    " >> /kafka_2.12-2.1.0/config/server.properties
    
    # 获取docker ip
    ip=`cat /etc/hosts | tail -1 | awk '{print $1}'`
    # 增加hosts,方便解析域名
    echo "$ip kafka-1.default.svc.cluster.local" >> /etc/hosts
    
    # 启动kafka
    bin/kafka-server-start.sh config/server.properties

**注意：**

**特别要注意 listeners 参数，不能是0.0.0.0，否则启动报错！必须是IP地址或者为空。如果是IP地址，客户端连接时，必须和它是同样的ip，否则报错。默认就是保持为空**

listeners=PLAINTEXT://:9092

它会监听本机的所有IP地址。但是，一旦这样，即使进入docker容器，使用127.0.0.1:9092也无法正常操作。它必须配合另外一个参数advertised.listeners

advertised.listeners 是用来设置外部访问地址，推荐使用域名。这里使用域名kafka-1.default.svc.cluster.local，注意：使用域名时，docker必须要求能够解析，否则客户端操作时，会报错。

所以在run.sh中，添加了一条hosts记录。默认情况下，/etc/hosts最后一行的ip就是docker的ip地址。

#### sources.list ####

内容如下：

deb http://mirrors.aliyun.com/ubuntu/ xenial main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial main
    
    deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main
    
    deb http://mirrors.aliyun.com/ubuntu/ xenial universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
    deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
    
    deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
    deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe

此时，/opt/kafka\_server 目录结构如下：

./
    ├── dockerfile
    ├── kafka_2.12-2.1.0.tgz
    ├── run.sh
    └── sources.list

#### 创建镜像 ####

docker build -t kafka_server_base /opt/kafka_server_base

#### 启动kafka ####

docker run -it -p 9092:9092 -e zookeeper=172.17.0.2 kafka_server_base

注意：172.17.0.2 是zookeeper的容器地址

查看9092端口是否启动

root@jqb-node129:/opt/kafka_danji# netstat -anpt
    Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1392/sshd                
    tcp6       0      0 :::22                   :::*                    LISTEN      1392/sshd         
    tcp6 0      0 :::9092     :::*                    LISTEN      10291/java

### 安装kafka\_client ###

安装kafka客户端就比较简单了，直接解压压缩包，使用里面的shell脚本即可，配置文件不需要修改，使用默认即可！

#### dockerfile ####

内容如下：

FROM ubuntu:16.04
    # 修改更新源为阿里云
    ADD sources.list /etc/apt/sources.list
    ADD kafka_2.12-2.1.0.tgz /
    # 安装jdk
    RUN apt-get update && apt-get install -y openjdk-8-jdk --allow-unauthenticated && apt-get clean all
    
    # 添加启动脚本
    ADD run.sh .
    RUN chmod 755 run.sh
    ENTRYPOINT [ "/run.sh"]

#### run.sh ####

内容如下：

#!/bin/bash
    
    tail -f /kafka_2.12-2.1.0/NOTICE

#### sources.list ####

内容如下：

此时 /opt/kafka\_client 目录结构如下：

./
    ├── dockerfile
    ├── kafka_2.12-2.1.0.tgz
    ├── run.sh
    └── sources.list

#### 创建镜像 ####

docker build -t kafka_client /opt/kafka_client

#### 启动kafka\_client ####

docker run -d -it kafka_client /bin/bash

查看docker进程

root@jqb-node131:/opt/kafka_client# docker ps
    CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS              PORTS               NAMES
    e07fd7d20814        kafka_client_test   "/run.sh /bin/bash"   4 minutes ago       Up 4 minutes                            epic_bardeen

进入 docker

root@jqb-node131:/opt/kafka_client# docker exec -it e07fd7d20814 /bin/bash
    root@e07fd7d20814:/#

添加一条hosts记录

echo "172.17.0.2 kafka-1.default.svc.cluster.local" >> /etc/hosts

### 2.5 创建第一个消息 ###

#### 2.5.1   创建一个topic ####

Kafka通过topic对同一类的数据进行管理，同一类的数据使用同一个topic可以在处理数据时更加的便捷

创建一个测试topic,名为test,单分区，副本因子是1

root@e07fd7d20814:/# cd /kafka_2.12-2.1.0/
    root@e07fd7d20814:/kafka_2.12-2.1.0# bin/kafka-topics.sh --create --zookeeper 192.168.91.128:2181 --topic test --partitions 1 --replication-factor 1
    Created topic "test".

在创建topic后可以通过输入以下命令，来查看已经创建的topic

root@e07fd7d20814:/kafka_2.12-2.1.0# bin/kafka-topics.sh --list --zookeeper 192.168.91.128:2181
    test

#### 2.4.2 创建一个消息生产者 ####

打开一个新的终端，重新进入docker

root@jqb-node131:/opt/kafka_client# docker exec -it e07fd7d20814 /bin/bash
    root@e07fd7d20814:/#

接下来我们创建第一个消息生产者，输入hello

root@e07fd7d20814:/kafka_2.12-2.1.0# bin/kafka-console-producer.sh --broker-list 192.168.91.129:9092 --topic test
    >hello
    >

#### `2.4.3 ``创建一个消息消费者` ####

root@e07fd7d20814:/kafka_2.12-2.1.0# bin/kafka-console-consumer.sh --bootstrap-server 192.168.91.129:9092 --topic test --from-beginning

消费者创建完成之后，因为还没有发送任何数据，因此这里在执行后没有打印出任何数据

不过别着急，不要关闭这个终端，它会一直hold住

在发送完消息之后，可以回到我们的消息消费者终端中，可以看到，终端中已经打印出了我们刚才发送的消息hello

root@e07fd7d20814:/kafka_2.12-2.1.0# bin/kafka-console-consumer.sh --bootstrap-server 192.168.91.129:9092 --topic test --from-beginning
    hello

## kafka错误解决 ##

[2018-12-13 14:29:58,771] ERROR Error when sending message to topic test with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
    org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test-0: 1537 ms has passed since batch creation plus linger time

出现上面的错误，表示listeners配置和当前连接不匹配。

就如上面提到的，如果listeners指定了监听ip，客户端连接时，也必须是这个ip地址，否则会出现上面的提示。

[2018-12-13 14:35:18,017] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 1 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

出现此错误，表示客户端无法解析advertised.listeners配置的域名，这个时候，添加hosts就可以解决了！

# 三、使用python操作kafka #

使用python操作kafka目前比较常用的库是kafka-python库

## 安装kafka-python ##

pip3 install kafka-python

## 生产者 ##

producer\_test.py

from kafka import KafkaProducer
    
    producer = KafkaProducer(bootstrap_servers='192.168.0.121:9092')  # 连接kafka
    
    msg = "Hello World".encode('utf-8')  # 发送内容,必须是bytes类型
    producer.send('test', msg)  # 发送的topic为test
    producer.close()

执行此程序，它没有输出！这个是正常的

## 消费者 ##

from kafka import KafkaConsumer
    
    consumer = KafkaConsumer('test', bootstrap_servers=['192.168.0.121:9092'])
    for msg in consumer:
        recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)
        print(recv)

执行此程序，此时会hold住，因为它在等待生产者发送消息！

再次执行生产者，此时会输出：

test:0:9: key=None value=b'Hello World'

本文参考链接：

[https://www.cnblogs.com/hei12138/p/7805475.html][https_www.cnblogs.com_hei12138_p_7805475.html]

posted @ 2018-11-29 11:50 [肖祥][Link 1] 阅读( ...) 评论( ...) [编辑][Link 2] 收藏

[kafka]: https://www.cnblogs.com/xiao987334176/p/10037395.html
[1341090-20181129114224672-448105628.png]: /images/20220202/b8ad0a500dc64631b8bd51910e56353c.png
[1341090-20181129114249143-1048503168.png]: /images/20220202/e80dadc1b38a4025ad8627077fe40536.png
[1341090-20181129114319834-634546760.png]: /images/20220202/f56862789b7b40099ee12b833411ad67.png
[1341090-20181129114349070-1317000863.png]: /images/20220202/be02429f5cc740ddbb787ffc9ad47363.png
[1341090-20181129114410809-1696673276.png]: /images/20220202/a44b6e49cfc24f18913e9a7981b36817.png
[http_kafka.apache.org_downloads]: http://kafka.apache.org/downloads
[https_www.cnblogs.com_xiao987334176_p_10037490.html]: https://www.cnblogs.com/xiao987334176/p/10037490.html
[https_www.cnblogs.com_hei12138_p_7805475.html]: https://www.cnblogs.com/hei12138/p/7805475.html
[Link 1]: https://www.cnblogs.com/xiao987334176/
[Link 2]: https://i.cnblogs.com/EditPosts.aspx?postid=10037395