12.2 kafka安装测试

浅浅的花香味﹌ 2022-05-16 12:37 132阅读 0赞

Kafka是个什么东西？消息队列的特点？

消息列队的特点：

生产者消费者模式

先进先出（FIFO）顺序保证

可靠性保证

自己不丢数据

消费者不丢数据：“至少一次，严格一次”

kafka的架构:

producer：消息生产者

consumer：消息消费者

broker：kafka集群的server，构成集群的每个节点，负责处理消息读、写请求，存储消息

topic：消息队列/分类，如果让topic变成强有序的，就可以让每个topic里面有partition分区

partition：组成队列的分区，强有序的

zookeeper：kafka需要需要zk存储单元

--------------------

kafka安装:（kafka最多配置6台，一般3台）

1，在windows环境下解压kafka\_2.10-0.8.2.1.zip，然后把解压的文件直接整个上传到系统

2，修改config/server.properties （几个服务器节点都需要）

broker.id=2 \#每个服务器节点ID不能一样

log.dirs=/kafka-logs \#接收的数据写入的目录

zookeeper.connect=node2:4180,node3:4180,node4:4180

3，发现启动文件bin没有启动权限，给bin文件夹下所有都赋予权限：chmod +x -R ./bin

4，启动zookeeper集群: ./bin/kafka-server-start.sh –daemon config/server.properties &

5，启动kafka集群 ，启动之前先把kafka\_2.10-0.8.2.1目录下的startkafka.sh赋予启动权限chmod 755 startkafka.sh

6，启动kafka(每个节点都执行)：./startkafka.sh

测试：

//输入端--生产者

./bin/kafka-console-producer.sh --topic 20170419 --broker-list node2:9092,node3:9092,node4:9092

//接收端--消费者

./bin/kafka-console-consumer.sh --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419

生产者输入消息，消费者同步输出消息，成功。

--------------------

创建topic为20170419 的消息队列

./bin/kafka-topics.sh --create --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419 --partitions 2 --replication-factor 2

查看集群中已有的topic消息队列：

./bin/kafka-topics.sh --list --zookeeper node2:4180,node3:4180,node4:4180

查看topic为20170419的队列信息

./bin/kafka-topics.sh --describe --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419

--------------------

发表评论取消回复

表情：

评论列表（有 0 条评论，132人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka压力测试

Kafka压力测试一、Kafka压测 > 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈\\（CPU，内存，网络

落日映苍穹つ/ 2022年12月27日 08:58/ 0 赞/ 92 阅读

相关 kafka性能测试

[【kafka学习之四】kafka集群性能测试][kafka_kafka] [kafka_kafka]: https://www.cnblogs.com/cac2020/p

小鱼儿/ 2022年11月28日 10:52/ 0 赞/ 150 阅读

相关 kafka性能测试

一.硬件配置 3台服务器配置如下: CPU: 2物理CPU，12核/CPU , 48 processor Intel(R) Xeon(R) Silver 411

系统管理员/ 2022年11月22日 00:11/ 0 赞/ 178 阅读

相关 kafka单节点安装和测试

1. 简介 i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个br

「爱情、让人受尽委屈。」/ 2022年07月20日 15:03/ 0 赞/ 195 阅读

相关 linux安装flume和集成kafka测试

一.前期准备 1.1 kafka+zookeeper集群环境以安装 1.2 下载flume 本文使用flume1.7 下载地址:[http://flume.

逃离我推掉我的手/ 2022年06月15日 03:43/ 0 赞/ 173 阅读

相关 Kafka入门-windows安装测试

安装JDK 二、安装zookeeper kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。br

深碍√TFBOYSˉ_/ 2022年05月25日 11:39/ 0 赞/ 177 阅读

相关 kafka_测试消息

1. 创建Topic bin/kafka-topics.sh --create --zookeeper centos2:2181 --replication-factor 1

我会带着你远行/ 2022年05月24日 03:29/ 0 赞/ 131 阅读

相关 12.2 kafka安装测试

Kafka是个什么东西？消息队列的特点？消息列队的特点：生产者消费者模式先进先出（FIFO）顺序保证可靠性保证自己不丢数据消费者不丢数据：“至少一次，严

浅浅的花香味﹌/ 2022年05月16日 12:37/ 0 赞/ 133 阅读

相关 Kafka单机版本地安装测试

1、下载解压 tar -xzf kafka_2.12-2.4.0.tgz cd kafka_2.12-2.4.0 2、启动zookeeper

╰+哭是因爲堅強的太久メ/ 2021年09月23日 23:40/ 0 赞/ 317 阅读

相关 Kafka压力测试

> 使用用Kafka自带的脚本进行压力测试。测试平台：CDH6.2，Kafka2.1 Kafka压测可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO），一般都是网络I

谁借莪１个温暖的怀抱￠/ 2021年09月23日 06:40/ 0 赞/ 409 阅读