centos7安装kafka

系统管理员 2022-01-26 13:07 283阅读 0赞

1、安装jdk

vim /etc/profile
    export JAVA_HOME=/usr/local/software/jdk1.8.0_211
    export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
    export PATH=$PATH:${JAVA_HOME}/bin
    重新加载文件：source /etc/profile

2、安装zookeeper

mv zoo_sample.cfg zoo.cfg
    vi  zoo.cfg 
    # 数据文件夹
    dataDir=/usr/local/src/zookeeper-3.4.14/data
    # 日志文件夹
    dataLogDir=/usr/local/src/zookeeper-3.4.14/logs
    vim /etc/profile
    export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.14/
    export PATH=$ZOOKEEPER_HOME/bin:$PATH
    source /etc/profile
    启动zookeeper 方式1：bin/zkServer.sh start config/zoo.cfg
      			  方式2：	 status/start/stop
    启动状态      bin/zkServer.sh status/stop

3、iptables防火墙的设置

防火墙：https://blog.csdn.net/qq_24232123/article/details/79781527
    关闭系统默认的防火墙：systemctl disable firewalld
    开放端口：iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 9092 -j ACCEPT
    查看开启的端口号 service iptables status
    保存开启的端口号 service iptables save
    重新启动防火墙 service iptables restart

4、kafka的相关配置

修改config/server.properties
    port=9092
    host.name=172.27.0.4
    advertised.host.name=132.232.80.68
    log.dirs=/home/kafka/logs
    vi /etc/profile
    export KAFKA_HOME=/usr/local/src/kafka_2.12-2.1.0
    export PATH=$KAFKA_HOME/bin:$PATH
    source /etc/profile
    kafka前台启动：bin/kafka-server-start.sh  config/server.properties
    kafka后台启动：bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
    kafka生产启动：bin/kafka-console-producer.sh --broker-list  172.27.0.4:9092 --topic testtop
    ## bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    kafka消费启动：bin/kafka-console-consumer.sh --bootstrap-server  172.27.0.4:2181 --topic testtop --from-beginning
    ## bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    查看topic列表：bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
    新增topic	 ：bin/kafka-topics.sh --create --zookeeper 172.27.0.4:2181 --replication-factor 1 --partitions 1 --topic pedometer
    			bin/kafka-topics.sh --create --zookeeper 172.27.0.4:2181 --replication-factor 1 --partitions 1 --topic pedometer

5、系统防火墙的设置

0、设置防火墙开机即启动：systemctl enable firewalld.service 
    	 1.  查看已打开的端口  # netstat -anp
    	 2. 查看想开的端口是否已开 # firewall-cmd --query-port=666/tcp
    	  若此提示 FirewallD is not running 
    	  表示为不可知的防火墙 需要查看状态并开启防火墙
    
    	 3. 查看防火墙状态  # systemctl status firewalld
    	 running 状态即防火墙已经开启
    	 dead 状态即防火墙未开启
    	 4. 开启防火墙，# systemctl start firewalld  没有任何提示即开启成功
    	 5. 开启防火墙 # service firewalld start  
    	   关闭防火墙 # systemctl stop firewalld
    	   centos7.3 上述方式可能无法开启，可以先#systemctl unmask firewalld.service 然后 # systemctl start firewalld.service
    
    	 6. 查看想开的端口是否已开 # firewall-cmd --query-port=666/tcp    提示no表示未开
    	 7. 开永久端口号 firewall-cmd --add-port=666/tcp --permanent   提示    success 表示成功
    	 8. 重新载入配置  # firewall-cmd --reload    比如添加规则之后，需要执行此命令
    	 9. 再次查看想开的端口是否已开  # firewall-cmd --query-port=666/tcp  提示yes表示成功
    	 10. 若移除端口 # firewall-cmd --permanent --remove-port=666/tcp
    	 11. 修改iptables  有些版本需要安装iptables-services # yum install iptables-services 然后修改进目录 /etc/sysconfig/iptables