spark+hbase+kafka+zookeeper集群一条龙搭建教程

约定不等于承诺〃 2021-11-24 01:46 278阅读 0赞

***spark集群是依赖hadoop的。  
hadoop集群搭建教程：  
[Hadoop集群搭建教程（一）][Hadoop]  
[Hadoop集群搭建教程（二）][Hadoop 1]***

# Spark集群 #

## 集群部署 ##

官网下载：[spark官网][spark]  
***这里要注意spark兼容的hadoop版本***  
接着解压：

tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz

先在你的master节点进行spark的安装和配置，然后直接拷贝到其他节点就可以了。

cd /usr/loca/spark/conf/
    vim spark-env.sh

然后，在最下面输入以下内容

export SPARK_DIST_CLASSPATH=$(/usr/loca/hadoop/bin/hadoop classpath)
    export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
    export SPARK_MASTER_IP=192.168.52.100

其实就是告知spark你的hadoop信息，还有你spark集群的master的ip。

cp slaves.template slaves
    vim slaves

将你spark集群的所有从节点IP输入即可。  
最后，将整个spark文件夹拷贝其他从节点的机器上即可。

scp -r /usr/loca/spark slave1:/usr/loca/

## 启动集群 ##

cd /usr/loca/spark/sbin/
    ./start-all.sh

在你master机器上，键入以上命令，启动整个spark集群。

# zookeeper集群 #

## 集群部署 ##

为什么先说zookeeper呢？因为hbase和kafka都是基于zookeeper来进行资源管理的。  
***还有一点，一般集群是这样规划的：HBase的master节点不需要安装zookeeper，只需要在HBase的从节点安装zookeeper即可***

1.  还是同样的套路，首先，去官网下载，然后解压。

[zookeeper官网下载][zookeeper]  
`apache-zookeeper-3.5.5-bin.tar.gz`，记得下载bin.tar.gz这种完整的包，不然会缺少一些jar包。

cd zookeeper/conf/
    cp zoo_sample.cfg zoo.cfg
    vim zoo.cfg

在配置文件中输入，你整个集群的信息

dataDir=/var/zookeeper
    
    clientPort=2181
    server.1=slave1:2888:3888
    server.2=slave2:2888:3888
    server.3=slave3:2888:3888

接着，将整个zookeeper复制到其他机器上:  
`scp -r /usr/local/zookeeper slave1:/usr/local/`  
***根据你的配置文件中的dataDir目录，在每个节点机器都创建一个名为myid的文件，然后添加对应的编号，例如server.1的机器就写入“1”***

## 集群启动 ##

zookeeper的集群没办法统一启动，所以需要在每台机器上键入以下命令：

cd zookeeper/bin/
    ./zkServer.sh start
    ./zkServer.sh status

最后一行是集群启动之后，查看你的状态，验证是否启动成功的。像下面有显示你的Mode信息等就表示成功启动了。  
![在这里插入图片描述][20190727141754970.png]

# HBase集群 #

## HBase介绍 ##

HBase与很多数据库不一样，他的数据存储是按照以下的原理：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]

## 集群部署 ##

1.  官网下载解压：  
    [HBase官网][HBase]  
    ***HBase对hadoop的兼容是比较严格，可以去这个网站查看[添加链接描述][Link 1]***
2.  配置`/conf/hbase-env.sh`

export HBASE_MANAGES_ZK=flase
    export HADOOP_HOME=/usr/local/hadoop
    export HBASE_HOME=/usr/local/hbase
    export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop

第一个配置项是是否使用自带的zookeeper，一般都会使用自己安装的zookeeper。  
3. 配置`/conf/hbase-site.xml`

<configuration>
            <property>
                    <name>hbase.rootdir</name>
                    <value>hdfs://master:9000/hbase</value>
            </property>
            
            <property>
                    <name>hbase.zookeeper.property.clientPort</name>
                    <value>2181</value>
            </property>
            
            <property>
                    <name>zookeeper.session.timeout</name>
                    <value>120000</value>
            </property>
            
            <property>
                    <name>hbase.master.maxclockskew</name>
                    <value>150000</value>
            </property>
            
            <property>
                    <name>hbase.zookeeper.quorum</name>
                    <value>slave1,slave2,slave3 </value>
            </property>
            
            <property>
                    <name>hbase.tmp.dir</name>
                    <value>/var/hbase</value>
            </property>
            
            <property>
                    <name>hbase.cluster.distributed</name>
                    <value>true</value>
            </property>
            
            <property>
            <name>hbase.master</name>
            <value>master:60000</value>
      </property>
    </configuration>

1.  接着，将hbase复制到其他机器上

scp -r /usr/local/hbase/ slave1: /usr/local/hbase/

## 集群启动 ##

首先，需要启动zookeeper集群和hdfs集群。  
在master机器上，通过bin目录下的`./start-hbase.sh`启动整个hbase集群，接着通过jps验证。  
在master节点能看到HMaster，在从节点有HRegionServer，就表示集群启动成功了~  
![在这里插入图片描述][20190727142420325.png]![在这里插入图片描述][20190727142424175.png]

## 集群启动失败 ##

Hbase的HMaster启动成功了，但是从节点HRegionServer一直启动不起来，有时启动成功了，没一会就自动关闭。  
问题是整个集群服务器的系统时间不一致，将它们改为一致即可。  
修改系统时间：  
`date -s "YYYY-MM-DD hh:mm:ss"`  
（上面是日期格式，要换为具体时间）  
修改硬件时间为系统时间：  
`hwclock –systohc`  
每隔一段时间，系统时间与硬件时间就会进行校验，同步为硬件时间，并且重启之后系统时间也会跟硬件时间同步了。

# kafka集群 #

## kafka介绍 ##

***kafka集群是没有主从之分的***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]

## 集群部署 ##

1.  官网下载，然后解压  
    [kafka官网][kafka]  
    ![在这里插入图片描述][20190727142838657.png]  
    2.11是scala的版本，2.3.0是kafka的版本。
2.  配置集群

cd /usr/local/kafka/config/
    vim server.properties

![在这里插入图片描述][20190727143013751.png]  
每个节点的id不能相同  
![在这里插入图片描述][20190727143027567.png]  
配置kafka日志文件的位置，可以配置多个，以逗号隔开，可以提升读写效率  
![在这里插入图片描述][2019072714303859.png]  
zookeeper的集群host，和该节点机器的host

## 集群启动 ##

我kafka使用的是自己安装的zookeeper集群，所以需要先将zookeeper集群启动。

./kafka-server-start.sh -daemon ../config/server.properties

![在这里插入图片描述][20190727143105935.png]  
最后，启动成功的话会有这样的日志打印出来，并且你的光标就无法定位，只能通过另起一个窗口来操作这台虚拟机，但是你不能关闭这个窗口，否则服务就关闭了。

欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。![在这里插入图片描述][20200430113850902.jpg]

[Hadoop]: https://blog.csdn.net/sgyuanshi/article/details/90679022
[Hadoop 1]: https://blog.csdn.net/sgyuanshi/article/details/97507613
[spark]: http://spark.apache.org/downloads.html
[zookeeper]: https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/
[20190727141754970.png]: /images/20211122/8e5a5ec44b4b45969f81bc3cd7631f83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]: /images/20211122/a8e7f778baa04256aae8348f6294c0b4.png
[HBase]: https://hbase.apache.org/downloads.html
[Link 1]: http://hbase.apache.org/book.html#hadoop
[20190727142420325.png]: https://img-blog.csdnimg.cn/20190727142420325.png
[20190727142424175.png]: /images/20211122/ffe63a0b69fe45ad9c8fb86331af5f89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]: /images/20211122/872aaa1cce914d63bee0f6949be3015a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]: /images/20211122/63b8ebaacb8d439fb283f47c71854451.png
[kafka]: http://kafka.apache.org/downloads
[20190727142838657.png]: /images/20211122/62de816780354a248a62d539aad960b9.png
[20190727143013751.png]: /images/20211122/677790630c4c4baab6eb97f77667e196.png
[20190727143027567.png]: /images/20211122/edc77448c480405e8fdb37daea19642f.png
[2019072714303859.png]: /images/20211122/b91684db1ebb4f7b8334cfd7b0caa2a0.png
[20190727143105935.png]: /images/20211122/b4d09865ab7142099cb4200a1052274b.png
[20200430113850902.jpg]: /images/20211122/44a29bfccfdd44b984748d63830a64df.png