kafka集群安装与使用

以你之姓@ 2022-05-07 03:58 250阅读 0赞

kafaka中的名词：  
Broker：安装kafka服务大那台机器就是一个broker （id要唯一）

Producer：消息的生产者，负责将数据写入到broker中（push）

Consumer：消息的消费者，负责从kafka中读取数据（pull），老版本  
的消费者依赖zk，新版本的不需要

Topic：主题，相当于是数据的一个分类，不同topic存放不同的数据

Consumer Group：消费者组，一个topic可以有多个消费者同时消费，多个消费者  
多个消费者如果在同一个消费组中不用重复消费

--------------------

kafka集群安装

1、下载解压安装包
    2、配置文件（sercer.propertise）
    broker.id=0
    host.name 监听地址
    log.dir = 
    zookeeper.connect = {}:2181
    		zookeeper.connect
    5.将配置好的kafka拷贝到其他机器上
    6、修改broker.id 和 host.name

--------------------

启动kafka

（启动脚本）/usr/local/kafka\_2.11-0.8.2.2/bin/kafka-server-start.sh  
（守护进程）-daemon  
（配置文件）/usr/local/kafka\_2.11-0.8.2.2/config/server.properties

往kafka写入命令  
\#查看topic信息  
/bigdata/kafka\_2.11-0.8.2.2/bin/kafka-topics.sh --list --zookeeper node-1:2181,node-2:2181

\#创建topic  
[kafka-topics.sh][] \--create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 3 --topic yuan

\#往Kafka的topic中写入数据(命令行的生成者)  
[kafka-console-producer.sh][] \--broker-list node1:9092,node2:9092,node3:9092 --topic yuan

\#启动消费者  
[kafka-console-consumer.sh][] \--zookeeper node1:2181,node2:2181,node3:2181 --topic yuan --from-beginning

topic信息是保存在zookeeper中的

[kafka-topics.sh]: http://kafka-topics.sh
[kafka-console-producer.sh]: http://kafka-console-producer.sh
[kafka-console-consumer.sh]: http://kafka-console-consumer.sh