Apache Doris Routine Load快速体验之Kafka部署（1）-蒲公英云

Apache Doris Routine Load快速体验之Kafka部署（1）

环境信息
- 硬件信息
- 软件信息
Kafka介绍
Zookeeper安装部署
- 下载Zookeeper
- 安装Zookeeper及初始化
Kafka安装部署
- 下载Kafka
- 安装Kafka及初始化
- - 修改kafka-server配置
  - 修改自带zk配置
- 启动Kafka和ZK
- - 启动zk
  - 启动kafka
- 服务测试
- - Topic测试
  - 生产测试
  - 消费测试
- 常见问题
- - ZK启动失败

环境信息

硬件信息

CPU ：4C
CPU型号：ARM64
内存：10GB
硬盘：66GB SSD

软件信息

VM镜像版本 ：CentOS-7
Apahce Doris版本 ：1.2.4.1
Kafka版本：3.2.0
Zookeeper版本：3.6.4

Kafka介绍

在这里插入图片描述
Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统，能够将消息数据从一个端点传递到另一个端点，较之传统的消息中间件(例如 RocketMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息数据处理。

Zookeeper安装部署

本文使用kafka默认自带的zk，后续可以改为自己单独部署的zk

下载Zookeeper

#下载zk包
wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
#创建安装文件夹
mkdir -p /opt/zk3.6.4
cd /opt/zk3.6.4
#解压安装
tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
mv apache-zookeeper-3.6.4-bin.tar.gz/* ./
rm -rf apache-zookeeper-3.6.4-bin.tar.gz*

安装Zookeeper及初始化

#生产zk配置文件
cd /opt/zk3.6.4/conf/
cp zoo_sample.cfg zoo.cfg
#修改zoo.cfg配置
dataDir=/home/zookeeper/data
dataDir=/home/zookeeper/log
server.1=localhost:2888:3888
#创建相关目录
mkdir -p /home/zookeeper/data
mkdir -p /home/zookeeper/log

Kafka安装部署

下载Kafka

#根据自己scala版本和系统进行下载
wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.12-3.2.0.tgz
#创建安装文件夹
mkdir -p /opt/kafka3.2
cd /opt/kafka3.2
#解压安装
tar -xvf kafka_2.12-3.2.0.tgz
mv kafka_2.12-3.2.0.tgz/* ./
rm -rf kafka_2.12-3.2.0.tgz*
#创建日志目录
mkdir logs

安装Kafka及初始化

修改kafka-server配置

#修改kafka-server的配置文件
vim config/server.properties
#修改如下
log.dirs=/opt/kafka3.2/logs
listeners=PLAINTEXT://doris:9092
auto.create.topics.enable=true
#其它的如果是单机可以不用改
port=9092 #端口号 
host.name=localhost #单机可直接用localhost
log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

修改自带zk配置

也可以自己另外部署zk不适用自带的zk

vim config/zookeeper.properties 
#修改如下
tickTime=2000
dataDir=/opt/kafka3.2/zookeeper_data
#创建zk的数据存储目录
mkdir /opt/kafka3.2/zookeeper_data

启动Kafka和ZK

启动zk

./bin/zookeeper-server-start.sh -daemon  ./config/zookeeper.properties

启动kafka

./bin/kafka-server-start.sh -daemon  ./config/server.properties   
#jps查看进程
jps

在这里插入图片描述

服务测试

2.2+=的版本，已经不需要依赖zookeeper来查看/创建topic，新版本使用 —bootstrap-server替换老版本的 —zookeeper-server

Topic测试

#创建topic，使用 kafka-topics.sh 创建单分区单副本的 topic test01
./bin/kafka-topics.sh --create --bootstrap-server doris:9092 --replication-factor 1 --partitions 1 --topic test01
#查询topic列表
./bin/kafka-topics.sh --list --bootstrap-server doris:9092
#指定查看
./bin/kafka-topics.sh --bootstrap-server doris:9092 --describe --topic test01
#删除topic
./bin/kafka-topics.sh --bootstrap-server doris:9092 --delete --topic test01

生产测试

#开一个窗，启动生产者
./bin/kafka-console-producer.sh --broker-list doris:9092 --topic test01

在这里插入图片描述

消费测试

#开一个窗，启动消费者
#旧版本
./bin/kafka-console-consumer.sh --bootstrap-server doris:9092 --topic test01 --from-beginning
#新版本
./bin/kafka-console-consumer.sh --bootstrap-server doris:9092 --topic test01 --from-beginning
#查看kafka生产最大位置偏移量
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list doris:9092 --topic test01 --time -1

在这里插入图片描述

常见问题

ZK启动失败

异常详情：Error: VM option ‘UseG1GC’ is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.

解决：

#修改./bin/kafka-run-class.sh
vim ./bin/kafka-run-class.sh
#KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 
#直接删掉 -XX:+UseG1GC。重启zk集群，启动kafka集群即可