Kafka——部署与应用

浅浅的花香味﹌ 2022-05-26 13:37 150阅读 0赞

本节目标：

1、掌握kafka的安装配置

2、掌握kafka消息队列的基本操作

所需软件：kafka-2.11

节点部署：

<table> 
 <tbody> 
  <tr> 
   <td><p>&nbsp;</p></td> 
   <td><p>ZK</p></td> 
   <td><p>Kafka</p></td> 
  </tr> 
  <tr> 
   <td><p><strong>master(192.168.85.10)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave1(192.168.85.11)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave2(192.168.85.12)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave3(192.168.85.13)</strong></p></td> 
   <td><p><strong>&nbsp;</strong></p></td> 
   <td><p><strong>&nbsp;</strong></p></td> 
  </tr> 
 </tbody> 
</table>

kafka依赖zk，不一定跟zk在同一台机器上。

1、解压安装kafka

2、配置文件修改

config/ server.properties

broker.id=0

log.dirs=/usr/local/src/kafka\_2.11-1.1.0/kafka-logs

zookeeper.connect=master:2181,slave1:2181,slave2:2181

3、同步到slave1，slave2

4.修改slave1，slave2的broker.id

5、每个结点启动kafka

在kafka安装目录下创建脚本，通过脚本启动更方便，脚本如下：

nohup bin/kafka-server-start.sh config/server.propertien >kafka.log 2>&1 &

bash startkafka.sh

6、基本操作

（1）创建topic

./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --topic tp1--partitions 2 --replication-factor 2

（2）查看topic

./bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

（3）查看描述

./bin/kafka-topics.sh --describe --zookeeper master:2181,slave1:2181,slave2:2181

![20180503145851499][]

（4）生产者

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic tp1

（5）消费者

./bin/kafka-console-consumer.sh  --zookeepermaster:2181,slave1:2181,slave2:2181 --topic tp1

[20180503145851499]: /images/20220526/ee7632efcbb6403fbf8fc61603311548.png

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka核心概念与应用场景

Kafka的主要特点 -------------------- Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分

r囧r小猫/ 2023年02月23日 08:42/ 0 赞/ 21 阅读

相关【kafka】kafka-manager安装部署

1、下载二进制由于只是预研就直接下载二进制，就不从源码编译了，开源也提供了直接可运行的二进制，下载链接：[https://github.com/yahoo/CMAK/r

青旅半醒/ 2022年12月26日 07:29/ 0 赞/ 348 阅读

相关 kafka 部署

目的 > 部署 kafka 集群 > 提供 falcon-transfer 使用 > kafka 需要使用 zookeeper 集群 > 共享 hadoop

た入场券/ 2022年11月29日 12:19/ 0 赞/ 160 阅读

相关 Ambari部署Kafka

> 添加kafka service ![image-20210222122234546.png][] > 选择kafka Next ![image-20210222122

妖狐艹你老母/ 2022年08月31日 04:52/ 0 赞/ 221 阅读

相关 Kafka（二）： Kafka 集群部署与使用

一、Kafka 集群部署 Kafk

秒速五厘米/ 2022年06月15日 02:13/ 0 赞/ 183 阅读

相关 kafka部署

1、将下载的kafka解压到/opt/soft目录下 tar-zxvf kafka\_2.11-0.10.2.1.tgz -C/opt/soft 2、进入kafka/li

今天药忘吃喽~/ 2022年06月05日 08:37/ 0 赞/ 174 阅读

相关 Kafka——部署与应用

本节目标： 1、掌握kafka的安装配置 2、掌握kafka消息队列的基本操作所需软件：kafka-2.11 节点部署： <table> <tbody>

浅浅的花香味﹌/ 2022年05月26日 13:37/ 0 赞/ 151 阅读

相关 Kafka总结（九）：KafKa 与Spark整合应用

[Kafka总结（一）：Kafka概述][Kafka_Kafka] [Kafka总结（二）：Kafka核心组件][Kafka_Kafka 1] [Kafka总结（三）：Ka

冷不防/ 2022年05月18日 04:41/ 0 赞/ 435 阅读

相关 Kafka总结（八）：KafKa与ELK整合应用

[Kafka总结（一）：Kafka概述][Kafka_Kafka] [Kafka总结（二）：Kafka核心组件][Kafka_Kafka 1] [Kafka总结（三）：Ka

╰半夏微凉°/ 2022年05月18日 04:41/ 0 赞/ 227 阅读

相关 docker 部署 kafka

安装镜像 `docker pull wurstmeister/kafka` 启动kafka容器 docker run -d --name kafka -p

骑猪看日落/ 2022年02月15日 11:02/ 0 赞/ 307 阅读