kafka(2)

超、凢脫俗 2022-08-02 13:55 125阅读 0赞

### 安装 ###

安装Kafka首先要安装配置zookeeper。

### 配置 ###

server.properties

配置项:

broker.id                                                    broker在集群中唯一的标识，要求是正数。

num.network.threads=4                         broker处理消息的最大线程数，一般情况下数量为cpu核数

num.io.threads=8                                    broker处理磁盘IO的线程数，数值为cpu核数的2倍

message.max.bytes                                消息体的最大字节

zookeeper.connect=localhost:2181    zookeeper集群地址，可以是多个，用逗号分割。hostname1:port1，hostname2:port2

num.partitions=1                                     每个topic的分区个数

http://blog.csdn.net/lizhitao/article/details/25667831

### 命令 ###

启动服务

bin/kafka-server-start.sh   config/server.properties

创建topic，正常情况下，每个broker上两个partition最好。

bin/kafka-topics.sh --create --zookeeper localhost:2181  --replication-factor 1 --partitions 1 --topic xxx

列出所有的topic

bin/kafka-topics.sh  --list  --zookeeper  localhost:2181

producer发送消息

bin/kafka-console-producer.sh  --broker-list  localhost:9002 --topic xxx

consumer接收消息

bin/kafka-console-consumer.sh  --zookeeper  localhost:2181  --topic  xxx   --from-beginning

### 程序 ###

1.创建topic

(1)开启自动创建topic配置：auto.create.topics.enable=true

(2)使用程序直接往kafka相应的topic发送数据，如果topic不存在就会按默认配置进行创建。

2.consumer接收消息

//指定topic和partition num

streams\[\] =Consumer.createMessageStreams ("topic1",1)

//迭代读取消息,如果没有消息,会阻塞直到有新的消息发布

for(message : streams\[0\]) \{

bytes=message.payload();

//do with  bytes

\}

3.producer发布消息

producer =new Producer();

message = new Message("xxx".getBytes());

//消息集set,批量发布

set =new MessageSet(message);

//指定topic

producer.send("topic",set)

发表评论取消回复

表情：

评论列表（有 0 条评论，125人围观）

还没有评论，来说两句吧...

相关阅读

相关 2、Kafka 生产者

3.1 生产者消息发送流程 3.1.1 发送原理在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端

太过爱你忘了你带给我的痛/ 2024年03月27日 18:38/ 0 赞/ 75 阅读

相关【kafka】『2』kafka为什么能快速处理海量数据

在使用kafka时，我们经常会想，为什么kafka能够达到如此巨大的数据吞吐量？这与kafka的很多设计哲学是分不开的，比如分区并行、ISR机制、顺序写入、页缓存、高效序列化、

怼烎@/ 2022年12月23日 09:58/ 0 赞/ 68 阅读

相关 kafka系列之Kafka基础架构(2)

Kafka基础架构 ![img][] 在上一节我们也说过一些名词概念什么的，这一节我们就详细看一下这些概念都是什么，怎样去理解。 Topic (主题) 主

太过爱你忘了你带给我的痛/ 2022年11月06日 07:51/ 0 赞/ 176 阅读

相关 kafka 连接工具Kafka Tool 2.0.7

[Kafka Tool 2.0.7(最新)版本超详细使用指北][Kafka Tool 2.0.7] [Kafka Tool 2.0.7]: https://blog.csd

不念不忘少年蓝@/ 2022年10月21日 11:46/ 0 赞/ 350 阅读

相关 1、Kafka2.2.1操作命令

1 没有关注的小伙伴可以在微信搜索框中搜索微信公众号： 3分钟秒懂大数据，然后点击关注，回复 kafka 即可免费领取 kafka\_2.12-2.2.1.tgz 软件安

梦里梦外;/ 2022年10月18日 11:29/ 0 赞/ 172 阅读

相关 Kafka 2.7.x 源码浅析 : kafka2.7.2 编译

一. 前言编译kafka2.7.2版本, 目前最新版本为2.8.x , 但是因为2.8.x去掉了zk,稳定性不确定, 所以暂时以该版本进行研究. 二. 环境准备

阳光穿透心脏的1/2处/ 2022年10月17日 04:13/ 0 赞/ 117 阅读

相关 kafka(2)

安装安装Kafka首先要安装配置zookeeper。配置 server.properties 配置项: broker.id

超、凢脫俗/ 2022年08月02日 13:55/ 0 赞/ 126 阅读

相关 Kafka学习（2）——理解Kafka

1 框架 Kafka是一种分布式的发布/订阅消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂

太过爱你忘了你带给我的痛/ 2022年07月15日 04:21/ 0 赞/ 214 阅读

相关 12.2 kafka安装测试

Kafka是个什么东西？消息队列的特点？消息列队的特点：生产者消费者模式先进先出（FIFO）顺序保证可靠性保证自己不丢数据消费者不丢数据：“至少一次，严

浅浅的花香味﹌/ 2022年05月16日 12:37/ 0 赞/ 157 阅读

相关安装kafka_2.12-2.0.0

[参考：https://blog.csdn.net/tangdong3415/article/details/53432166][https_blog.csdn.net_tan

野性酷女/ 2022年05月10日 09:00/ 0 赞/ 182 阅读