Apache Doris Routine Load快速体验之Kafka部署（1）

比眉伴天荒 2023-10-13 18:11 47阅读 0赞

#### Apache Doris Routine Load快速体验之Kafka部署（1） ####

*  环境信息
 *   *  硬件信息
     *  软件信息
 *  Kafka介绍
 *  Zookeeper安装部署
 *   *  下载Zookeeper
     *  安装Zookeeper及初始化
 *  Kafka安装部署
 *   *  下载Kafka
     *  安装Kafka及初始化
     *   *  修改kafka-server配置
         *  修改自带zk配置
     *  启动Kafka和ZK
     *   *  启动zk
         *  启动kafka
     *  服务测试
     *   *  Topic测试
         *  生产测试
         *  消费测试
     *  常见问题
     *   *  ZK启动失败

## 环境信息 ##

### 硬件信息 ###

1.  **CPU** ：4C
2.  **CPU型号**：ARM64
3.  **内存** ：10GB
4.  **硬盘** ：66GB SSD

### 软件信息 ###

1.  **VM镜像版本** ：CentOS-7
2.  **Apahce Doris版本** ：1.2.4.1
3.  **Kafka版本**：3.2.0
4.  **Zookeeper版本**：3.6.4

## Kafka介绍 ##

![在这里插入图片描述][73c2434c4c0a41dba91936e0b48e65d5.png]  
Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统，能够将消息数据从一个端点传递到另一个端点，较之传统的消息中间件(例如 RocketMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息数据处理。

## Zookeeper安装部署 ##

> 本文使用kafka默认自带的zk，后续可以改为自己单独部署的zk

### 下载Zookeeper ###

#下载zk包
    wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
    #创建安装文件夹
    mkdir -p /opt/zk3.6.4
    cd /opt/zk3.6.4
    
    #解压安装
    tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
    mv apache-zookeeper-3.6.4-bin.tar.gz/* ./
    rm -rf apache-zookeeper-3.6.4-bin.tar.gz*

### 安装Zookeeper及初始化 ###

#生产zk配置文件
    cd /opt/zk3.6.4/conf/
    cp zoo_sample.cfg zoo.cfg
    
    #修改zoo.cfg配置
    dataDir=/home/zookeeper/data
    dataDir=/home/zookeeper/log
    server.1=localhost:2888:3888
    
    #创建相关目录
    mkdir -p /home/zookeeper/data
    mkdir -p /home/zookeeper/log

## Kafka安装部署 ##

### 下载Kafka ###

#根据自己scala版本和系统进行下载
    wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.12-3.2.0.tgz
    
    #创建安装文件夹
    mkdir -p /opt/kafka3.2
    cd /opt/kafka3.2
    
    #解压安装
    tar -xvf kafka_2.12-3.2.0.tgz
    mv kafka_2.12-3.2.0.tgz/* ./
    rm -rf kafka_2.12-3.2.0.tgz*
    
    #创建日志目录
    mkdir logs

### 安装Kafka及初始化 ###

#### 修改kafka-server配置 ####

#修改kafka-server的配置文件
    vim config/server.properties
    
    #修改如下
    log.dirs=/opt/kafka3.2/logs
    listeners=PLAINTEXT://doris:9092
    auto.create.topics.enable=true
    
    #其它的如果是单机可以不用改
    port=9092 #端口号 
    host.name=localhost #单机可直接用localhost
    log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改
    zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

#### 修改自带zk配置 ####

> 也可以自己另外部署zk不适用自带的zk

vim config/zookeeper.properties 
    
    #修改如下
    tickTime=2000
    dataDir=/opt/kafka3.2/zookeeper_data
    
    #创建zk的数据存储目录
    mkdir /opt/kafka3.2/zookeeper_data

### 启动Kafka和ZK ###

#### 启动zk ####

./bin/zookeeper-server-start.sh -daemon  ./config/zookeeper.properties

#### 启动kafka ####

./bin/kafka-server-start.sh -daemon  ./config/server.properties   
    
    #jps查看进程
    jps

![在这里插入图片描述][ebef9efe72324d1a92dcb552b3906463.png]

### 服务测试 ###

> 2.2+=的版本，已经不需要依赖zookeeper来查看/创建topic，新版本使用 --bootstrap-server替换老版本的 --zookeeper-server

#### Topic测试 ####

#创建topic，使用 kafka-topics.sh 创建单分区单副本的 topic test01
    ./bin/kafka-topics.sh --create --bootstrap-server doris:9092 --replication-factor 1 --partitions 1 --topic test01
    
    #查询topic列表
    ./bin/kafka-topics.sh --list --bootstrap-server doris:9092
    #指定查看
    ./bin/kafka-topics.sh --bootstrap-server doris:9092 --describe --topic test01
    
    #删除topic
    ./bin/kafka-topics.sh --bootstrap-server doris:9092 --delete --topic test01

#### 生产测试 ####

#开一个窗，启动生产者
    ./bin/kafka-console-producer.sh --broker-list doris:9092 --topic test01

![在这里插入图片描述][c2c62120a78a45baa14198bae225c8d2.png]

#### 消费测试 ####

#开一个窗，启动消费者
    #旧版本
    ./bin/kafka-console-consumer.sh --bootstrap-server doris:9092 --topic test01 --from-beginning
    #新版本
    ./bin/kafka-console-consumer.sh --bootstrap-server doris:9092 --topic test01 --from-beginning
    
    #查看kafka生产最大位置偏移量
    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list doris:9092 --topic test01 --time -1

![在这里插入图片描述][3d330b24d6a8446a80bd25d3955a516d.png]

### 常见问题 ###

#### ZK启动失败 ####

> 异常详情：Error: VM option ‘UseG1GC’ is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.  
> ![在这里插入图片描述][a07d81a5ba10473394f459928562c332.png]

解决：

#修改./bin/kafka-run-class.sh
    vim ./bin/kafka-run-class.sh
    
    #KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 
    #直接删掉 -XX:+UseG1GC。重启zk集群，启动kafka集群即可

**kafka安装部署至此结束，安装部署过程中若遇到问题欢迎留言交流**

[73c2434c4c0a41dba91936e0b48e65d5.png]: https://img-blog.csdnimg.cn/73c2434c4c0a41dba91936e0b48e65d5.png
[ebef9efe72324d1a92dcb552b3906463.png]: https://img-blog.csdnimg.cn/ebef9efe72324d1a92dcb552b3906463.png
[c2c62120a78a45baa14198bae225c8d2.png]: https://img-blog.csdnimg.cn/c2c62120a78a45baa14198bae225c8d2.png
[3d330b24d6a8446a80bd25d3955a516d.png]: https://img-blog.csdnimg.cn/3d330b24d6a8446a80bd25d3955a516d.png
[a07d81a5ba10473394f459928562c332.png]: https://img-blog.csdnimg.cn/a07d81a5ba10473394f459928562c332.png