Ubuntu18.04搭建kafka集群（入门指南）

桃扇骨 2022-02-23 09:28 374阅读 0赞

###  一。先安装jdk ###

这里我选择的是jdk1.8,其它版本也可以。

配置环境变量这里就不再赘述了

可以参考一下我的这一篇文章：

[https://blog.csdn.net/github\_39533414/article/details/85218091][https_blog.csdn.net_github_39533414_article_details_85218091]

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz  
  
 解压jdk.tar ,tar -zxvf xx.tar

配置jdk环境变量

vi /etc/profile ,末尾添加以下  
\---------------------------------------------  
export JAVA\_HOME=/joe/jdk1.8  
export JRE\_HOME=$\{JAVA\_HOME\}/jre  
export CLASSPATH=.:$\{JAVA\_HOME\}/lib:$\{JRE\_PATH\}/lib  
export PATH=$\{JAVA\_HOME\}/bin:$PATH  
\---------------------------------------------  
执行配置文件

source /etc/profile

查看版本   java -version

### 二 安装Zookeeper ###

去官网下载压缩包

[Apache ZooKeeper][]

然后解压

tar -zxvf zookeeper-3.4.14.tar.gz

重命名文件夹

mv zookeeper-3.4.14 zookeeper

### 进入zookeeper的conf目录，把oo\_sample.cfg（样板配置文件）命名为zoo.cfg ###

cd zookeeper/conf
    
    mv zoo_sample.cfg zoo.cfg

### 新建data目录 ###

mkdir /home/zixuan/Downlads/zookeeper/data

### 修改配置文件，修改dataDir的路径，端口根据自己的需要进行修改 ###

vim zoo.cfg

![20190407192525882.png][]

dataDir的目录改为刚刚建立的data文件夹

进入zookeeper目录启动zookeeper

3.5 启动集群zookeeper服务器（不分先后）  
./bin/zkServer.sh start

![20190407192902741.png][]

3.6 查看状态  
./bin/zkServer.sh status

###    这个步骤出现了坑，一直提示 it is probably not running.检查了几遍配置都没问题，最后发现未开通2181 2888 3888端口   10.10.110.xx是该server所在的IP地址.   2888是该server和集群中的leader交换消息所使用的端口.   3888是选举leader时所使用的端口.   firewall-cmd --zone=public --add-port=2181/tcp --permanent   firewall-cmd --reload   \-(如果提示firewall没有的话，要安装sudo apt install firewall) ###

然后开放端口，重启机器

![20190407193059660.png][]

其它操作：

常用操作；  
              1、Zookeeper服务端启动；  
                      \# cd /opt/zookeeper-3.4.10/bin/  
                      \#./zkServer.sh start  
                  2、Zookeeper服务端停止；  
                      \# cd /opt/zookeeper-3.4.10/bin/  
                      \#./zkServer.sh stop  
                  3、Zookeeper服务端重启；  
                       \# cd /opt/zookeeper-3.4.10/bin/  
                       \#./zkServer.sh restart  
                  4、查看Zookeeper进程；  
                       \#ps -ef|grep zookeeper;  
                  5、查看Zookeeper服务端状态；  
                       \# cd /opt/zookeeper-3.4.10/bin/  
                       \#./zkServer.sh status  
                  6、Zookeeper客户端登陆；  
                       \# cd /opt/zookeeper-3.4.10/bin/  
                       \#./zkCli.sh -server 127.0.0.1:2181

### 三  安装Kafka: ###

下载地址：[kafka][]

解压，修改文件夹名称

创建日志目录

![20190407193736639.png][]

进入config目录，修改server.properties

broker.id=0
                              port=9092 #端口号
                              host.name=127.0.0.1 #服务器IP地址，修改为自己的服务器IP
                              log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径，上面创建的目录
                              zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

修改一下日志目录

![20190407194239558.png][]

先启动zeekeeper,然后启动kafka

./kafka-server-start.sh /home/zixuan/Downloads/kafka/config/server.properties

./bin/kafka-server-start.sh -daemon config/server.properties

### 后面的是刚刚修改的配置文件的路径 ###

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70][] ###

这里报了个错误，kafka-run-class.sh找不到java

这里要重新执行一下

source /etc/profile

然后就行了

### 创建Topic,打开另一个tab ###

./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

![20190407201323971.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70 1][]

### 列出所有Topic ###

./kafka-topics.sh -list -zookeeper 127.0.0.1:2181

![20190407201623307.png][]

### 启动生产者Producer并发送消息 ###

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

（输入相应的消息，eg:hello kafka;按Ctrl+C结束）

![20190407201850904.png][]

###  启动消费者Consumer接受消息 ###

./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning

这里报了个错误

![20190407202249247.png][]

说是zookeeper不是有效的组织，在网上找了一下发现这是因为kafka在最新版本中已经不使用这个命令了。

参考文章：[               https://blog.csdn.net/csdn\_sunlighting/article/details/81516646][_ https_blog.csdn.net_csdn_sunlighting_article_details_81516646]

使用下面的命令就可以了。

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

![2019040720254722.png][]

停止kafka

./kafka-server-stop.sh

![20190407202950380.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70 2][]

kafka一些常用命令

1）、启动kafka命令：  
                                cd /opt/kafka\_2.10-0.10.1.1/bin;  
                               ./kafka-server-start.sh /opt/kafka\_2.10-0.10.1.1/config/server.properties  
                       （2）、停止kafka命令：  
                                ./kafka-server-stop.sh  
                       （3）、创建Topic：(创建一个名为test的topic，只有一个副本，一个分区。)  
                                ./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test  
                       （4）、列出所有Topic：  
                                ./kafka-topics.sh -list -zookeeper 127.0.0.1:2181                    
                       （5）、启动Producer并发送消息：  
                                ./kafka-console-producer.sh --broker-list localhost:9092 --topic test  
                               （输入相应的消息，eg:hello kafka;按Ctrl+C结束）  
                        （6）、启动Consumer并接收消息：  
                                ./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning

参考文章：

[https://blog.csdn.net/bighacker/article/details/86644893][https_blog.csdn.net_bighacker_article_details_86644893]

[https://blog.csdn.net/xuzhelin/article/details/71514618][https_blog.csdn.net_xuzhelin_article_details_71514618]

[https://blog.csdn.net/qq\_35188937/article/details/81430267][https_blog.csdn.net_qq_35188937_article_details_81430267]

ubuntu安装kafka

[https_blog.csdn.net_github_39533414_article_details_85218091]: https://blog.csdn.net/github_39533414/article/details/85218091
[Apache ZooKeeper]: http://zookeeper.apache.org/
[20190407192525882.png]: /images/20220223/76e2bd6670ba45d6973c9f22796d6587.png
[20190407192902741.png]: /images/20220223/a7750b64f3454090967ee6a52c2f9afc.png
[20190407193059660.png]: /images/20220223/46bab2e5d6564b38bf7cea26f949ef31.png
[kafka]: http://kafka.apache.org/downloads
[20190407193736639.png]: /images/20220223/2b5ae883ea454b48a60a0c27d701c5bd.png
[20190407194239558.png]: /images/20220223/dec08a23acc5444e97f37eae04b043db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70]: /images/20220223/519867d79fe845dcb120f5fccdd6406f.png
[20190407201323971.png]: /images/20220223/6c1a8e6c2fa342148164e52af8051167.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70 1]: /images/20220223/d49b8731a9dc447b9718d7a15a9daa87.png
[20190407201623307.png]: /images/20220223/ec582c61e09f46b6aa1c0e62f48d05bc.png
[20190407201850904.png]: /images/20220223/365cd79bf5824669b4589bd3e3b041ce.png
[20190407202249247.png]: /images/20220223/a1029d5734ee45b2902ae9a190f14af7.png
[_ https_blog.csdn.net_csdn_sunlighting_article_details_81516646]: https://blog.csdn.net/csdn_sunlighting/article/details/81516646
[2019040720254722.png]: /images/20220223/bc3b2af0fa7643ba843ddb6e3ee44131.png
[20190407202950380.png]: /images/20220223/3c39397cf81a4813a1ba3e040d4d09b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTUzMzQxNA_size_16_color_FFFFFF_t_70 2]: /images/20220223/df4b06f428e5474baf7bb0c1462ad569.png
[https_blog.csdn.net_bighacker_article_details_86644893]: https://blog.csdn.net/bighacker/article/details/86644893
[https_blog.csdn.net_xuzhelin_article_details_71514618]: https://blog.csdn.net/xuzhelin/article/details/71514618
[https_blog.csdn.net_qq_35188937_article_details_81430267]: https://blog.csdn.net/qq_35188937/article/details/81430267