Hadoop+HBase完全分布式安装

梦里梦外; 2022-09-27 04:55 221阅读 0赞

之前转载过一片完全分布式安装，这篇更详细，单没有测试过，文章发布很新，

感谢：http://blog.csdn.net/u013235478/article/details/54318563

# [Hadoop+HBase完全分布式安装 ][Hadoop_HBase_] #

标签： [ hadoop][hadoop]

2017-01-10 22:31  52人阅读 [评论][Link 1](0) 收藏 [举报][Link 2]

![category_icon.jpg][] 分类：

hadoop*（1）* ![arrow_triangle_20_down.jpg][]

目录[(?)][Link 3][\[+\]][Link 3]

记录下完全分布式[Hbase][][数据库][Link 4]安装步骤

准备3台机器：10.202.7.191 / 10.202.7.139 / 10.202.9.89

所需准备的Jar包：

*  jdk-7u65-linux-x64.tar.gz (下载：[http://www.oracle.com/technetwork/java/javase/downloads/index.html][http_www.oracle.com_technetwork_java_javase_downloads_index.html] )
 *  zookeeper-3.4.8.tar.gz （下载：[http://www.apache.org/dyn/closer.cgi/zookeeper][http_www.apache.org_dyn_closer.cgi_zookeeper]）
 *  hadoop-2.5.2.tar.gz （下载：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html]）
 *  hbase-1.2.3-bin.tar.gz （下载：[http://www.apache.org/dyn/closer.cgi/hbase/][http_www.apache.org_dyn_closer.cgi_hbase]）

# 1.JDK安装 #

一般[Linux][]的发行版本有预装openjdk，这里安装标准sun公司的jdk。

## 1.1查看当前机器安装的jdk ##

`rpm -qa | grep jdk`

出现如下结果表示是openjdk

> [Java][]\-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6\_5.x86\_64  
> java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86\_64

这种情况先卸载openjdk, 执行如下命令：

`rpm -e --nodeps java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64`

`rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64`

## 1.2安装标准jdk ##

将jdk的jar包复制到 `/usr/local/java` 目录下并执行如下命令解压：

`tar -zxvf jdk-7u65-linux-x64.tar.gz`

## 1.3配置Java环境变量 ##

打开 `/etc/profile` 文件

`vim /etc/profile`

在文件末尾追加如下内容：

> JAVA\_HOME=/usr/local/java/jdk1.7.0\_65
> 
> JRE\_HOME=/usr/local/java/jdk1.7.0\_65/jre
> 
> PATH=*J**A**V**A**H**O**M**E*/*b**i**n*:JRE\_HOME/bin:$PATH
> 
> CLASSPATH=.:*J**A**V**A*\_*H**O**M**E*/*l**i**b*/*d**t*.*j**a**r*:JAVA\_HOME/lib/tools.jar:$JRE\_HOME/lib
> 
> export JAVA\_HOME JRE\_HOME PATH CLASSPATH  
>

执行如下命令使配置生效：

`source /etc/profile`

## 1.4检查jdk是否安装成功 ##

执行如下命令：

`java -version`

出现如下结果表示Java环境安装成功

> [Java ][Java 1]version “1.7.0\_65”  
> Java(TM) SE Runtime Environment (build 1.7.0\_65-b17)  
> Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

# 2.zookeeper安装 #

## 2.1 zookeeper配置 ##

解压zookeeper的安装包zookeeper-3.4.8.tar.gz，进入主目录。将conf目录下的zoo\_sample.cfg文件复制一份并命名为zoo.cfg，操作命令如下：

`cp conf/zoo_sample.cfg conf/zoo.cfg`

新建一个数据存储目录 `data`，

`mkdir data`

打开zookeeper的配置文件conf/zoo.cfg并配置如下：

> tickTime=2000  
> initLimit=10  
> syncLimit=5  
> dataDir=/home/sfapp/zookeeper-3.4.8/data  
> clientPort=2181  
> server.1=10.202.7.191:2888:3888  
> server.2=10.202.7.139:2888:3888  
> server.3=10.202.9.89:2888:3888  
>

以同样的配置将zookeeper安装到各个机器上。

在dataDir目录下（即上面配置的目录/home/sfapp/zookeeper-3.4.8/data）创建一个 `myid` 文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中的X即为这个数字标识。

在10.202.7.191机器上的/home/sfapp/zookeeper-3.4.8/data目录下新建文件 `myid` ，写入内容 **1**;

在10.202.7.139机器上的/home/sfapp/zookeeper-3.4.8/data目录下新建文件 `myid` ，写入内容 **2**;

在10.202.9.89机器上的/home/sfapp/zookeeper-3.4.8/data目录下新建文件 `myid` ，写入内容 **3**;

## 2.2 启动zookeeper ##

建好后分别在每台机器上启动zookeeper，启动命令如下：

`bin/zkServer.sh start`

我在各个机器上的启动顺序为：10.202.7.191 –> 10.202.7.139 –> 10.202.9.89

查看zookeeper的日志文件，主目录下的zookeeper.out文件，发现前面两台机器的启动日志里有如下异常：

> 2017-01-09 19:34:48,084 \[myid:1\] - WARN \[WorkerSender\[myid=1\]:QuorumCnxManager@400\] - Cannot open channel to 3 at election address /10.202.9.89:3888  
> java[.NET][].ConnectException: Connection refused  
> at java[.Net][.NET].PlainSocketImpl.socketConnect(Native Method)  
> at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)  
> at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)  
> at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)  
> at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)  
> at java.net.Socket.connect(Socket.java:579)  
> at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:381)  
> at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:354)  
> at org.apache.zookeeper.server.quorum.FastLeaderElection*M**e**s**s**e**n**g**e**r*WorkerSender.process(FastLeaderElection.java:452)  
> at org.apache.zookeeper.server.quorum.FastLeaderElection*M**e**s**s**e**n**g**e**r*WorkerSender.run(FastLeaderElection.java:433)  
> at java.lang.Thread.run(Thread.java:745)

因为启动第一台机器时，它会去连接其它的两台机器，由于启动顺序的先后，导致连接不成功，所以当所有机器上的zookeeper全部起来后就不会出现改类日志。

## 2.3 验证zookeeper ##

在各个zookeeper节点上执行如下命令，查看当前zookeeper的状态:

`bin/zkServer.sh status`

10.202.7.191上的结果为：

> ZooKeeper JMX enabled by default  
> Using config: /home/sfapp/zookeeper-3.4.8/bin/../conf/zoo.cfg  
> Mode: follower  
>

10.202.7.139上的结果为：

> ZooKeeper JMX enabled by default  
> Using config: /home/sfapp/zookeeper-3.4.8/bin/../conf/zoo.cfg  
> Mode: leader  
>

10.202.9.89上的结果为：

> ZooKeeper JMX enabled by default  
> Using config: /home/sfapp/zookeeper-3.4.8/bin/../conf/zoo.cfg  
> Mode: follower  
>

此时表明zookeeper集群配置成功。10.202.7.139上的zookeeper被选举为leader，而其他两台机器为follower。

执行如下连接命令即可连接到改zookeeper集群：

`bin/zkCli.sh -server 10.202.7.191:2181,10.202.7.139:2181,10.202.9.89:2181`

# 3.Hadoop安装 #

## 3.1 配置主机名 ##

登录到10.202.7.191，执行命令 `hostname dobbin1` 将其主机名设置为dobbin1；

登录到10.202.7.139，执行命令 `hostname dobbin2` 将其主机名设置为dobbin2；

登录到10.202.9.89，执行命令 `hostname dobbin3` 将其主机名设置为dobbin3；

或者 `vim /etc/sysconfig/network` 在里面配置 `HOSTNAME=dobbinX`

打开各个机器上的 `/etc/hosts` 文件，添加如下内容：

> 10.202.7.191 dobbin1  
> 10.202.7.139 dobbin2  
> 10.202.9.89 dobbin3

重启 `reboot` 后生效

## 3.2 配置免密码登录 ##

[Hadoop][]集群启动后，NameNode节点通过SSH来启动和停止各个节点上的守护进程，所以在节点之间执行指令时不能有密码。

先打开sshd的配置文件 `/etc/ssh/sshd_config`，找到以下内容：

> RSAAuthentication yes  
> PubkeyAuthentication yes  
> AuthorizedKeysFile .ssh/authorized\_keys

如有注释，则去掉注释(\#)，修改完成后重启ssh服务，使之生效

`service sshd restart`

无密码登录会有一些安全性问题，所以在各个机器上新建专属用户hadoop，为其设置免密码登录

`useradd hadoop`

为hadoop用户设置密码

`passwd hadoop`

回车后提示输入密码，输入完成后回车，需要重复密码，重复输入后回车，则hadoop用户密码设置成功。

切换到hadoop用户。

`su - hadoop`

生成秘钥：

`ssh-keygen -t rsa`

会在 ~/.ssh 目录下生成 `id_rsa` 和 `id_rsa.pub` 两个文件，`id_rsa` 为私钥， `id_rsa.pub` 为公钥，紧接着将公钥文件复制成 `authorized_keys` 文件，操作如下：

`cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys`

本地验证是否成功

`ssh dobbin1` (即主机名)

结果如下：

![hadoop][hadoop 1]

到这步表明本机无密码登录已经设置完成，接下来把本机上的公钥复制到其他两台机器上

`scp ~/.ssh/id_rsa.pub sfapp@10.202.7.139:/tmp/`

`scp ~/.ssh/id_rsa.pub sfapp@10.202.9.89:/tmp/`

然后分别登录到另外两台机器，切换到hadoop用户，将公钥写入~/.ssh/authorized\_keys文件，操作如下：

`cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys`

再修改~/.ssh/authorized\_keys文件的权限，操作如下：

`chmod 600 ~/.ssh/authorized_keys`

此时，机器dobbin1便能免密码登录dobbin2和dobbin3，同样的，将dobbin2上的公钥写到dobbin1和dobbin3上的~/.ssh/authorized\_keys文件，将dobbin3上的公钥写到dobbin1和dobbin2上的~/.ssh/authorized\_keys文件，这3台机器便可互相免密码登录。

## 3.3 Hadoop配置 ##

将hadoop安装包hadoop-2.5.2.tar.gz解压到/home/hadoop目录下，为hadoop添加环境变量：

`vim /etc/profile` ，在尾部添加如下内容：

> export HADOOP\_HOME=/home/hadoop/hadoop-2.5.2  
> export PATH=*P**A**T**H*:HADOOP\_HOME/bin

进入hadoop配置文件目录 `$HADOOP_HOME/etc/hadoop/` 修改的配置文件core-site.xml如下：

![hadoop][hadoop 2]

下面针对NameNode节点（将dobbin1作为NameNode节点）进行配置

`hdfs-site.xml`

![hadoop][hadoop 3]

`mapred-site.xml`

![hadoop][hadoop 4]

`yarn-site.xml`

![hadoop][hadoop 5]

`slaves`

> dobbin1  
> dobbin2

将 `hadoop-env.sh` 和 `yarn-env.sh` 里面的 `export JAVA_HOME=$JAVA_HOME` 改成 `export JAVA_HOME=/usr/local/java/jdk1.7.0_65`，若没有则新增，即改成JDK的物理路径，而不能直接引用环境变量。

## 3.4 启动hadoop ##

### 3.4.1 格式化HDFS文件系统 ###

格式化HDFS文件系统是对NamaNode节点上hdfs-site.xml文件里的 `dfs.namenode.name.dir` 和 `dfs.datanode.data.dir` 目录做清理工作。在$HADOOP\_HOME目录下执行如下操作：

`bin/hdfs namenode -format`

日志比较多，看到如下日志表示格式化成功：

> 17/01/10 11:34:39 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.

格式化操作仅在首次启动时需要。

### 3.4.2 启动hdfs服务进程： ###

`sbin/start-dfs.sh`

我的启动结果如下图：

![hadoop][hadoop 6]

看到提示dobbin3节点上 `JAVA_HOME` 变量没有设置，是忘了将 `hadoop-env.sh` 和 `yarn-env.sh` 里面的 `export JAVA_HOME=$JAVA_HOME` 改成 `export JAVA_HOME=/usr/local/java/jdk1.7.0_65`。

先用 `sbin/stop-dfs.sh` 停止dfs进程，设置 `JAVA_HOME` 后再次启动成功，如下图：

![hadoop][hadoop 7]

### 3.4.3 启动yarn服务进程： ###

`sbin/start-yarn.sh`

看到如下日志

![hadoop][hadoop 8]

### 3.4.4 启动验证 ###

在dobbin1机器上（NameNode和SecondaryNameNode节点）执行命令 `jps`

显示如下两个进程表示NameNode 和 SecondaryNameNode节点启动成功：

![hadoop][hadoop 9]

再在另外两台机器上执行 `jps` 命令查看到DataNode进程如下，表名DataNode节点启动成功

![hadoop][hadoop 10]

# 4 HBase安装 #

## 4.1 配置HBase ##

将HBase压缩包解压到/home/hadoop目录下，并设置环境变量 `vi /etc/profile`

> export HBASE\_HOME=/home/hadoop/hbase-1.2.3  
> export PATH=*P**A**T**H*:HBASE\_HOME/bin

修改改文件$HBASE\_HOME/conf/hbase-env.sh，修改内容如下：

> export JAVA\_HOME=/usr/local/java/jdk1.7.0\_65

进入到HBase安装目录，打开配置文件 `$HBASE_HOME/conf/hbase-site.xml` 配置如下：

![hadoop][hadoop 11]

打开配置文件 `$HBASE_HOME/conf/regionservers` 添加DataNode节点的hostname并保存，如下：

> dobbin2  
> dobbin3

新建一个名为 `backup-masters` 的文件，文件内容为 `dobbin2`， 将dobbin2机器设置成备用主节点

所有节点均作如上配置

## 4.2 启动HBase ##

配置成功后，在Master节点上启动HBase集群。启动顺序为Hadoop -> Zookeeper -> HBase。

在dobbin1机器上执行启动命令:

`bin/start-hbase.sh`

启动成功后看到如下日志：

![hadoop][hadoop 12]

## 4.3 启动后验证 ##

在各个机器上执行 `jps` 命令，

dobbin1节点为 `HMaster`

![hadoop][hadoop 13]

dobbin2节点 即是备用主节点，也是RegionServer

![hadoop][hadoop 14]

dobbin3节点为数据节点RegionServer

![hadoop][hadoop 15]

用shell命令登录到hbase命令模式：

`bin/hbase shell`

登录成功后如下图所示：

![hadoop][hadoop 16]

至此，HBase安装成功！

[Hadoop_HBase_]: http://blog.csdn.net/u013235478/article/details/54318563
[hadoop]: http://www.csdn.net/tag/hadoop
[Link 1]: http://blog.csdn.net/u013235478/article/details/54318563#comments
[Link 2]: http://blog.csdn.net/u013235478/article/details/54318563#report
[category_icon.jpg]: /images/20220708/b9b2b825aa374180b59e615e3f74c9a5.png
[arrow_triangle_20_down.jpg]: /images/20220708/d1fde8fd44ea41deb26a544627c6b25d.png
[Link 3]: http://blog.csdn.net/u013235478/article/details/54318563#
[Hbase]: http://lib.csdn.net/base/hbase
[Link 4]: http://lib.csdn.net/base/mysql
[http_www.oracle.com_technetwork_java_javase_downloads_index.html]: http://www.oracle.com/technetwork/java/javase/downloads/index.html
[http_www.apache.org_dyn_closer.cgi_zookeeper]: http://www.apache.org/dyn/closer.cgi/zookeeper
[http_hadoop.apache.org_releases.html]: http://hadoop.apache.org/releases.html
[http_www.apache.org_dyn_closer.cgi_hbase]: http://www.apache.org/dyn/closer.cgi/hbase/
[Linux]: http://lib.csdn.net/base/linux
[Java]: http://lib.csdn.net/base/javase
[Java 1]: http://lib.csdn.net/base/java
[.NET]: http://lib.csdn.net/base/dotnet
[Hadoop]: http://lib.csdn.net/base/hadoop
[hadoop 1]: /images/20220708/4e48f354d58b44df9e71c118474b80bc.png
[hadoop 2]: /images/20220708/7a67a11c61504051b4574afd5b508b13.png
[hadoop 3]: /images/20220708/6f5d84952a1a46da92807e01083752e5.png
[hadoop 4]: /images/20220708/8031ab68248d4c11b493ae015726433f.png
[hadoop 5]: /images/20220708/1056cc5d73614596a3f61fea495746eb.png
[hadoop 6]: /images/20220708/c23ba6bfe8314682b81342194adb7d14.png
[hadoop 7]: /images/20220708/e56c6f4ca96d494d94e0fefa4e70727a.png
[hadoop 8]: /images/20220708/b7cc6a0ea39340e4b81096f27fb2d59b.png
[hadoop 9]: /images/20220708/7094912ce90647d5bc54be7e276b5f07.png
[hadoop 10]: /images/20220708/cde3068debae45cdb347219a64f8c4a3.png
[hadoop 11]: /images/20220708/4f8be92b96dc40f4b9fd8b50240b56d6.png
[hadoop 12]: /images/20220708/5c7e67f723c5411591fcf8ee7c6fe34b.png
[hadoop 13]: /images/20220708/cfb1c3426c094b38a59e8fe78b1216af.png
[hadoop 14]: /images/20220708/084584e31eb64cf29ac3c0d0f2062be0.png
[hadoop 15]: /images/20220708/8d78182b70d34b0784a32138a9ffb1f5.png
[hadoop 16]: /images/20220708/6c34119d2f0c486ea45e0abc9b381725.png