hadoop+zookeeper+hbase分布式集群搭建

旧城等待， 2023-07-05 11:50 32阅读 0赞

**目录**

0.安装CentOS7

1.修改CentOS7基础配置（3台主机都配置）

2.安装JDK（3台主机都配置）

3.安装hadoop-2.7.5（3台主机都配置）

4.通过master启动hadoop

5.配置ssh免登陆（3台主机都配置）

6.安装zookeeper-3.4.5

7.安装hbase-2.1.0（3台主机都配置）

8.启动hbase

--------------------

### 0.安装CentOS7 ###

VMWare安装3台CentOS7，避免windows现有的网关冲突，设置VM网络适配器的网关、子网等  
例如，网关设置为192.168.2.2，子网192.168.2.0，子网掩码255.255.255.0  
主机名 IP  
master 192.168.2.200  
slave1 192.168.2.201  
slave2 192.168.2.202

###    1.修改CentOS7基础配置（3台主机都配置） ###

1.1修改主机名  
vim /etc/sysconfig/network  
  
NETWORKING=yes  
HOSTNAME=master \#\#\#另外两个是slave1，slave2  
GATEWAY=192.168.2.2

1.2修改IP  
vim /etc/sysconfig/network-scripts/ifcfg-ens33  
  
TYPE=Ethernet  
PROXY\_METHOD=none  
BROWSER\_ONLY=no  
BOOTPROTO=static \#\#\#  
DEFROUTE=yes  
IPV4\_FAILURE\_FATAL=no  
IPV6INIT=yes  
IPV6\_AUTOCONF=yes  
IPV6\_DEFROUTE=yes  
IPV6\_FAILURE\_FATAL=no  
IPV6\_ADDR\_GEN\_MODE=stable-privacy  
NAME=ens33  
UUID=fdfc6d7b-e680-40a4-ba3e-60ec5b9b9fc2  
DEVICE=ens33  
ONBOOT=yes  
  
\#3个主机的mac地址，ip地址不同  
HWADDR=00:50:56:3b:37:b4  
IPADDR=192.168.2.200  
NETMASK=255.255.255.0  
GATEWAY=192.168.2.2  
DNS1=192.168.2.2  
DNS2=8.8.8.8  
  
1.3修改主机名和IP的映射关系  
vim /etc/hosts  
  
127.0.0.1 localhost

192.168.2.200 master  
192.168.2.201 slave1  
192.168.2.202 slave2  
  
1.4关闭防火墙  
\#查看防火墙状态  
systemctl status firewalld.service  
\#关闭防火墙  
systemctl stop firewalld.service  
\#查看防火墙开机启动状态  
systemctl is-enabled firewalld.service  
\#关闭防火墙开机启动  
systemctl disabled firewalld.service  
  
1.5重启  
reboot  
  
1.6主机之间互相ping，及其与windows宿主主机互相ping是否连通  
  
1.7使用ssh客户端连接centOs7，比如secureCrt

### 2.安装JDK（3台主机都配置） ###

2.1secureCrt命令窗alt+p 通过sftp从windows上传文件到centos，put d:\\xxx\\jdk-linux-x64.tar.gz  
  
2.2解压jdk  
\#创建文件夹（hadoop为新建用户）  
mkdir /home/hadoop/app  
\#解压  
tar -zxvf jdk-linux-x64.tar.gz -C /home/hadoop/app  
  
2.3将java添加到环境变量中  
vim ~/.bashrc  
\#在文件最后添加  
export JAVA\_HOME=/home/hadoop/app/jdk1.8.0\_131  
export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar  
  
export PATH=$PATH:$JAVA\_HOME/bin  
  
\#刷新配置  
source ~/.bashrc

###    3.安装hadoop-2.7.5（3台主机都配置） ###

上传hadoop-2.7.5.tar.gz到centos  
注意：hadoop2.x的配置文件$HADOOP\_HOME/etc/hadoop  
需要修改5个配置文件  
3.1配置hadoop依赖的jdk目录  
第一个：hadoop-env.sh  
vim hadoop-env.sh  
  
export JAVA\_HOME=/home/hadoop/app/jdk1.8.0\_131  
  
第二个：core-site.xml

<property>  
<name>fs.defaultFS</name>  
<value>hdfs://master:9000</value>  
</property>  
  
<property>  
<name>hadoop.tmp.dir</name>  
<value>/home/hadoop/app/hadoop-2.7.5/data</value>  
  
</property>  
<property>  
<name>io.file.buffer.size</name>  
<value>4096</value>  
</property>  
  
第三个：hdfs-site.xml hdfs-default.xml (3)  
  
<property>  
<name>dfs.replication</name>  
<value>3</value>  
</property>

<property>  
<name>dfs.http.address</name>  
<value>master:50070</value>  
</property>

<property>  
<name>dfs.secondary.http.address</name>  
<value>master:50090</value>  
</property>

<property>  
<name>dfs.webhdfs.enabled</name>  
<value>true</value>  
</property>

<property>  
<name>dfs.permissions</name>  
<value>false</value>  
</property>  
  
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)  
mv mapred-site.xml.template mapred-site.xml  
vim mapred-site.xml  
  
<property>  
<name>mapreduce.framework.name</name>  
<value>yarn</value>  
</property>  
  
第五个：yarn-site.xml  
  
<property>  
<name>yarn.resourcemanager.hostname</name>  
<value>master</value>  
</property>  
  
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce\_shuffle</value>  
</property>  
  
3.2将hadoop添加到环境变量  
  
vim ~/.bashrc  
export JAVA\_HOME=/home/hadoop/app/jdk1.8.0\_131  
export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar  
  
export HADOOP\_HOME=/home/hadoop/app/hadoop-2.7.5  
export HADOOP\_PREFIX=$HADOOP\_HOME  
export HADOOP\_COMMON\_HOME=$HADOOP\_PREFIX  
export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$HADOOP\_PREFIX/lib/native  
export HADOOP\_OPTS="-Djava.library.path=$HADOOP\_HOME/lib"  
export HADOOP\_CONF\_DIR=$HADOOP\_PREFIX/etc/hadoop  
export HADOOP\_HDFS\_HOME=$HADOOP\_PREFIX  
export HADOOP\_MAPRED\_HOME=$HADOOP\_PREFIX  
export HADOOP\_YARN\_HOME=$HADOOP\_HOME  
\#export HADOOP\_ROOT\_LOGGER=DEBUG,console  
export LD\_LIBRARY\_PATH=$HADOOP\_PREFIX/lib/native  
  
export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

source ~/.bashrc

###    4.通过master启动hadoop ###

4.1格式化namenode（是对namenode进行初始化）  
hadoop namenode -format  
然后可查看到hadoop.tmp.dir配置值目录下产生初始化存储目录  
  
4.2启动hadoop  
4.2.1先启动HDFS  
sbin/start-dfs.sh  
  
在master jps查看到  
3715 NameNode  
3912 SecondaryNameNode  
  
在slave1 jps可查看到  
2623 DataNode  
  
在slave2 jps可查看到  
2577 DataNode  
  
4.2.2再启动YARN  
sbin/start-yarn.sh  
  
在master jps查看到  
4140 ResourceManager  
  
在slave1 jps可查看到  
2795 NodeManager  
  
在slave2 jps可查看到  
2762 NodeManager  
4.3浏览器查看hadoop管理页面  
http://192.168.2.200:50070 （HDFS管理界面）  
http://192.168.2.200:8088 （MR管理界面）

###    5.配置ssh免登陆（3台主机都配置） ###

\#生成ssh免登陆密钥  
\#进入到我的home目录  
cd ~/.ssh

ssh-keygen -t rsa （四个回车）  
执行完这个命令后，会生成两个文件id\_rsa（私钥）、id\_rsa.pub（公钥）  
将公钥内容追加到要免登陆的主机上的.ssh目录下的authorized\_keys文件后面

###    6.安装zookeeper-3.4.5 ###

6.1解压zookeeper-3.4.5.tar.gz  
  
6.2添加zookeeper环境变量并刷新配置  
export ZOOKEEPER\_HOME=/home/hadoop/app/zookeeper-3.4.5  
export ZOO\_LOG\_DIR=$ZOOKEEPER\_HOME/logs  
  
export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$ZOOKEEPER\_HOME/bin  
  
6.3在zookeeper根目录创建data和logs文件夹分别存放zookeeper产生数据和运行日志  
  
6.4更改名称 $ZOOKEEPER\_HOME/conf/zoo\_sample.cfg 为zoo.cfg  
  
6.5更爱内容zoo.cfg  
\# The number of milliseconds of each tick  
tickTime=2000  
\# The number of ticks that the initial  
\# synchronization phase can take  
initLimit=10  
\# The number of ticks that can pass between  
\# sending a request and getting an acknowledgement  
syncLimit=5  
\# the directory where the snapshot is stored.  
\# do not use /tmp for storage, /tmp here is just  
\# example sakes.  
dataDir=/home/hadoop/app/zookeeper-3.4.5/data  
\#dataLogDir=/home/hadoop/app/zookeeper-3.4.5/logs  
\# the port at which the clients will connect  
clientPort=2181  
\#  
\# Be sure to read the maintenance section of the  
\# administrator guide before turning on autopurge.  
\#  
\# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html\#sc\_maintenance  
\#  
\# The number of snapshots to retain in dataDir  
\#autopurge.snapRetainCount=3  
\# Purge task interval in hours  
\# Set to "0" to disable auto purge feature  
\#autopurge.purgeInterval=1  
  
server.0=192.168.2.200:2888:3888  
server.1=192.168.2.201:2888:3888  
server.2=192.168.2.202:2888:3888

6.6在创建的data目录下创建全名的myid 的文件  
各个主机对应的内容是不同的，master的内容是0，slave1的内容是1，slave2的内容是2，分别对应server.x中的x。  
server.A=B:C:D,其中A是一个数字,表示这是第几号server。B是该server所在的IP地址。  
C配置该server和集群中的leader交换消息所使用的端口。D配置选举leader时所使用的端口。  
  
6.7启动zookeeper  
zkServer.sh start  
  
jps可查看到  
9107 QuorumPeerMain  
  
并且在data和logs目录下有对应的数据产生

### 7.安装hbase-2.1.0（3台主机都配置） ###

7.1添加环境变量  
export HBASE\_HOME=/home/hadoop/app/hbase-2.1.0  
export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$ZOOKEEPER\_HOME/bin:$HBASE\_HOME/bin

7.2更改hbase-env.sh  
export JAVA\_HOME=$JAVA\_HOME  
export HBASE\_CLASSPATH=$HBASE\_HOME/lib  
export HBASE\_PID\_DIR=$HBASE\_HOME/data  
export HBASE\_LOG\_DIR=$HBASE\_HOME/logs  
export HBASE\_MANAGES\_ZK=false  
  
7.3在hbase根目录下创建两个文件夹 data 和 logs

7.4更改hbase-site.xml  
<configuration>  
<property>  
<name>hbase.tmp.dir</name>  
<value>/home/hadoop/app/hbase-2.1.0/data</value>  
</property>  
<property>  
<name>hbase.rootdir</name>  
<value>hdfs://master:9000/hbase</value>  
</property>  
<property>  
<name>hbase.cluster.distributed</name>  
<value>true</value>  
</property>  
<property>  
<name>hbase.zookeeper.quorum</name>  
<value>master,slave1,slave2</value>  
</property>  
<property>  
<name>hbase.zookeeper.property.clientPort</name>  
<value>2181</value>  
</property>  
<property>  
<name>hbase.zookeeper.property.dataDir</name>  
<value>/home/hadoop/app/zookeeper-3.4.5/data</value>  
<description>property from zoo.cfg,the directory where the snapshot is stored</description>  
</property>  
</configuration>

7.5regionservers  
master  
slave1  
slave2

7.6.backup-masters（可选）  
在hbase的conf目录下可能不存在这个文件，那么需要手动创建一个，且需要搭建hive，  
内容写上作为备份节点的主机名，master节点一旦挂了，这个备份节点将成为新的master节点

7.7拷贝hdfs-site.xml  
将该主机已经搭建好的hadoop的配置文件hdfs-site.xml拷贝到hbase的conf目录下

### 8.启动hbase ###

8.1master启动hbase  
start-hbase.sh

8.2jps可查看到  
12645 HMaster  
12773 HRegionServer

8.3slave1 jps可查看到  
3549 HRegionServer

8.4slave2 jps可查看到  
4018 HRegionServer

8.5浏览器查看hbase管理页面  
http://192.168.2.200:16010/master-status