Hadoop回顾:(二)搭建5节点hadoop集群环境(CDH5)

以你之姓@ 2022-06-05 01:38 384阅读 0赞

提示：如果还不了解Hadoop的，可以下查看这篇文章[Hadoop生态系统][Hadoop]，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。

搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。

**一、硬件准备**

**基本配置:**

<table style="width:300px"> 
 <tbody> 
  <tr> 
   <td style="width:49%"> 
    <div style="margin-left:40px">
      操作系统 
    </div> </td> 
   <td style="width:49%"> 
    <div style="margin-left:40px">
      64位 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      CPU 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      (英特尔)Intel(R) I3处理器 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      内存 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      8.00 GB ( 1600 MHz) 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      硬盘剩余空间 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      50G 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**流畅配置:**

<table style="width:298px"> 
 <tbody> 
  <tr> 
   <td style="width:26.51%"> 
    <div style="margin-left:40px">
      操作系统 
    </div> </td> 
   <td style="width:71.47%"> 
    <div style="margin-left:40px">
      64位 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      CPU 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      (英特尔)Intel(R) I5处理器或以上配置 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      内存 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      16.00 GB ( 1600 MHz) 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div style="margin-left:40px">
      硬盘剩余空间 
    </div> </td> 
   <td> 
    <div style="margin-left:40px">
      100G 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

注意：上面是在单个pc机上搭建集群，所以对内存要求较高。若是在多台pc机上搭建集群环境，则只需要内存足够即可。

# 二、软件环境准备 #

<table> 
 <tbody> 
  <tr> 
   <td>虚拟机</td> 
   <td>VMWare</td> 
  </tr> 
  <tr> 
   <td>操作系统</td> 
   <td>CentOS6.5</td> 
  </tr> 
  <tr> 
   <td>JDK</td> 
   <td><a href="http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u79-oth-JPR" rel="nofollow">jdk-7u79-linux-x64.tar.gz&nbsp;</a></td> 
  </tr> 
  <tr> 
   <td>远程连接</td> 
   <td>XShell</td> 
  </tr> 
  <tr> 
   <td align="center"><br> <br> <br> <br> <br> hadoop生态系统</td> 
   <td><a href="http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.5.tar.gz" rel="nofollow"><br> hadoop-2.6.0-cdh5.4.5.tar.gz</a><br> <br> <a href="http://archive.cloudera.com/cdh5/cdh/5/hbase-1.0.0-cdh5.4.4.tar.gz" rel="nofollow">hbase-1.0.0-cdh5.4.4.tar.gz</a><br> <br> <a href="http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.4.5.tar.gz" rel="nofollow">hive-1.1.0-cdh5.4.5.tar.gz</a><br> <br> <a href="http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.4.5.tar.gz" rel="nofollow">flume-ng-1.5.0-cdh5.4.5.tar.gz</a><br> <br> <a href="http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.4.5.tar.gz" rel="nofollow">sqoop-1.4.5-cdh5.4.5.tar.gz</a><br> <br> <a href="http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.4.5.tar.gz" rel="nofollow">zookeeper-3.4.5-cdh5.4.5.tar.gz</a></td> 
  </tr> 
 </tbody> 
</table>

这篇文章是搭建CDH5集群环境，以上软件可以在此[网址下载][Link 1]

# 三、主机规划 #

由于我们要安装5个节点的集群环境，所以我们分配好ip地址和主机功能

<table> 
 <thead> 
  <tr> 
   <th>&nbsp;</th> 
   <th> <p style="position:relative">CDHNode1</p> <p style="position:relative">/192.168.3.188</p> </th> 
   <th> <p style="position:relative">CDHNode2</p> <p style="position:relative">/192.168.3.189</p> </th> 
   <th> <p style="position:relative">CDHNode3</p> <p style="position:relative">/192.168.3.190</p> </th> 
   <th> <p style="position:relative">CDHNode4</p> <p style="position:relative">/192.168.3.191</p> </th> 
   <th> <p style="position:relative">CDHNode5</p> <p style="position:relative">/192.168.3.192</p> </th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p style="position:relative">namenode</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="position:relative">datanode</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="position:relative">resourcemanager</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
   <td> <p style="position:relative">否</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="position:relative">journalnode</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
  </tr> 
  <tr> 
   <td> <p style="position:relative">zookeeper</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">是</p> </td> 
   <td> <p style="position:relative">否<br> </p> </td> 
   <td> <p style="position:relative">否<br> </p> </td> 
  </tr> 
 </tbody> 
</table>

注意：Journalnode和ZooKeeper保持奇数个，最少不少于 3 个节点。具体原因，以后详叙。

我的主机分配情况是在两台pc的虚拟机上安装centos系统，具体分配情况如下:

<table> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>CDHNode1</td> 
   <td>CDHNode2</td> 
   <td>CDHNode3</td> 
   <td>CDHNode4</td> 
   <td>CDHNode5</td> 
  </tr> 
  <tr> 
   <td>&nbsp;PC1</td> 
   <td>是</td> 
   <td>&nbsp;</td> 
   <td>是</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>&nbsp;PC2</td> 
   <td>&nbsp;</td> 
   <td>是</td> 
   <td>&nbsp;</td> 
   <td>是</td> 
   <td>是</td> 
  </tr> 
 </tbody> 
</table>

这样分配的原因是为了采用HA时，两台namenode在不同pc上，若有一台pc出现异常，导致一个namenode无法运作，而standy namenode(备用namenode)可以active(激活)，而不会影响整个集群的运作。

# 三、详细安装步骤 #

我们首先在1个主机（CHDNode1/192.168.3.188）上安装centos6.5操作系统,使用root用户配置网络，创建hadoop用户，关闭防火墙，安装一些必备软件。为记下来的集群软件安装做准备。

## CentOS6.5安装 ##

在主机CHDNode1/192.168.3.188，安装CentOS6.5操作系统。详细安装步骤可以查看[CentOS安装][CentOS]这篇文章。此处就不再赘叙。

## 网络配置 ##

1.打开安装好的CentOS虚拟机CDHNode1

![Center][]

2、登录CentOS系统

![Center 1][]

3.输入ifconfig命令，先查看ip地址

![Center 2][]

4、这个时候我们发现除了回环地址以外，我们并不能和外界通信，比如我们可以使用ping命令进行测试。

![Center 3][]

注意：ping 127.0.0.1时，结束icmp报文，使用Ctrl+C命令

第一次ping 百度,ping不通，说明虚拟机无法连接外网

第二次ping 虚拟机NAT网关，ping不通

注：虚拟机网关查看方法

![Center 4][]

点击虚拟机网络编辑器，点击VMnet8

![Center 5][]

点击Nat设置

![Center 6][]

第三次ping物理机ip地址，ping不通

注：查看物理机IP地址，开启cmd.exe ,输入ipconfig

![Center 7][]

第四次ping虚拟机的回环地址，ping成功，说明虚拟机的网络协议是正确的

5、修改网卡的配置文件

![Center 8][]

![Center 9][]

可以看到虚拟机网卡没有开启，因此修改ONBOOT=yes,然后保存退出（按Esc键，然后输入：wq）

![Center 10][]

6、重启网络服务

![Center 11][]

7、再次输入ifconfig命令，查看ip地址。

注意：我的虚拟机设置的是桥接模式，所以ip地址是192.168.2.X网段，或192.168.3.X网段；因为桥接模式是直接使用物理网卡，而我的物理主机的网关是192.168.0.1，子网掩码是255.255.252.0，所以我的虚拟机ip地址可以在192.168.0.2-192.168.3.255之间任意选择(除了物理主机的ip)。若你的虚拟机是使用nat模式，可能就是，如：以我的虚拟机为例，nat网关是192.168.117.2,子网掩码为255.255.255.0，所以虚拟机的ip地址可以在192.168.117.3-192.168.117.255之间任意选择。

![Center 12][]

此时网卡已经成功开启。

8.再次ping步骤4的ip或域名,查看具体情况

检查本机网络协议

![Center 13][]

检查网卡链路

![Center 14][]

检查Nat网关

![Center 15][]

检查外网

![Center 16][]

此时虚拟机连接互联网成功，但使用dhcp（动态主机配置协议）配置ip地址，此时的IP地址时动态生成的，不方便以后hadoop集群环境的搭建。所以我们还需要配置静态Ip地址，配置详情，下面细说。

9、使用ifconfig命令可以查看动态ip地址为192.168.3.188，所以接下来我们把此ip作为CDHNode1的静态ip地址。注：你可以使用你的动态ip作为你当前主机的静态ip。然后后面几台IP地址可以紧跟着设置成，如192.168.3.189。DHCP生成ip地址是随机的，你可具体问题具体分析。

![Center 17][]

10、修改网卡配置信息，把BOOTPROTO=dhcp修改为BOOTPROTO=static,并且添加上设置的ip地址，子网掩码，和网关。

![Center 18][]

注意：由于我是在两台pc上配置集群环境，所以我使用的是桥接模式。若你是在一台主机上建议你使用Nat（网络地址转换）模式。因为nat模式的网关在不同的电脑上虚拟机VMWare虚拟出来的网段是不同的。不方便使用Xshell连接。

下面是桥接模式的配置，IPADDR是设置ip地址，NETMASK(子网掩码)与GATEWAY（网关）可以设置成与物理主机一样的NETMASK(子网掩码)与GATEWAY（网关）。注：物理主机ip配置具体查看，看上面的步骤4。

![Center 19][]

下面是Nat模式的配置，IPADDR是设置ip地址，NETMASK(子网掩码)与GATEWAY（网关）可以设置成与物理主机一样的NETMASK(子网掩码)与GATEWAY（网关）。注：Nat模式ip配置具体查看，看上面的步骤4。

上面步骤中我们可以看到Nat模式的网关是192.168.117.2，子网掩码为255.255.255.0

所以具体可配置成

BOOTPROTO=static

IPADDR=192.168.117.40

NETMASK=255.255.255.0

GATEWAY=192.168.117.2

最后按Esc,然后：wq保存退出。（注意编辑按i或a即可进入编辑模式，具体操作查看vi命令的使用说明）

11、重启网络服务

![Center 20][]

至此网络配置完毕。

##  ##

### 下载必备软件 ###

注：1、在CDHNode1节点上安装，使用yum命令 ,参数-y表示，下载过程中的自动回答yes,有兴趣的话，可以试试不加的情况；install表示从网上下载安装。

2、使用yum命令安装软件必须是root用户。

1、安装lrzsz，可以方便在Xshell上，上传和下载文件，输入rz命令，可以上传文件，sz命令可以从远程主机上下载文件到本地。

![Center 21][]

2、安装ssh服务器。

![Center 22][]

3、安装ssh客户端。

![Center 23][]

## 用户创建户 ##

1、使用useradd命令添加用户hadoop，并同时创建用户的home目录，关于useradd的参数使用可以使用 useradd -h查看参数

> ![Center 24][]

2、可以切换到/home目录下查看，是否创建成功

> ![Center 25][]  
>

3、为hadoop用户创建密码，这是为了接下来使用XShell软件远程连接CDHNode1节点做准备，出现successfully表示创建密码成功，注意：密码创建必须是root用户。

> ![Center 26][]

4、可以切换到hadoop用户，使用 su命令，可以看到，此时root@CDHNode1已经改成hadoop@CDHNode1。

> ![Center 27][]

5、从hadoop用户退出，使用exit命令

> ![Center 28][]

## 克隆虚拟机 ##

由于我们使用VMware创建的Centos虚拟机，所以我们可以直接克隆虚拟机，就减少了安装的时间，提高效率。

若你是在一台pc机上配置集群环境，就可以按照以下步骤连续克隆出四个虚拟机分别是CDHNode2、CDHNode3、CDHNode4、CDHNode5；我是在两个pc机上配置的所以，我就需要在另一台pc上重新按照第一台pc机上安装CDHNode1一样，再安装CDHNode2，然后从CDHNode2克隆CDHNode4、CDHNode5。

下面我以在CDHNode2上克隆出CDHNode5虚拟机为例，演示以下克隆的步骤。

1、右键CDHNode2虚拟机--》快照--》拍摄快照

![Center 29][]

2、点击拍摄快照，快照拍摄成功

![Center 30][]

3、再右键CDHNode2虚拟机--》管理--》克隆

![Center 31][]

4、下一步

![Center 32][]

5、选择现有快照--》下一步

![Center 33][]

6、选择创建完整克隆--》下一步

![Center 34][]

7、输入虚拟机名称，点击完成，等待克隆完成。

![Center 35][]

8、至此我们完成了克隆虚拟机的任务

![Center 36][]

![Center 37][]

9、接下来是修改配置虚拟机的网卡信息，下面我们在CDHNode5为例，其他节点自己按照下面的自行配置。

首先打开CDHNode5,此时显示的主机名称为CDHNode2，因为CDHNode5是从CDHNode2克隆来的，所以主机名称还是CDHNode2。

![Center 38][]

10、暂时不该主机名，我们先查看一下，此时显示没有网卡

![Center 39][]

11、克隆后的网卡变成了eth1,如果想改回eth0，则需要修改配置文件70-persistent-net.rules配置文件

![Center 40][]

![Center 41][]

11、我们先设置行号输入：set number,我们需要修改第8行和第11行，然后输入i或a进入编辑模式，使用\#注释第8行，并把第10行的eth1改为eth0，可以记一下第二个网卡的mac硬件地址

![Center 42][]

12、我们先移除网卡e1000，使用modprobe -r e1000命令

![Center 43][]

13、重新安装网卡e000

![Center 44][]

14、修改网卡配置信息

![Center 45][]

![Center 46][]

15、把设备号修改为DEVICE=eth0,先注释掉mac地址（硬件地址），在修改ip地址。

![Center 47][]

16、重启网络服务

![Center 48][]

注意：如果不正确，ip已经被使用，可以重新设置成其他的ip地址，按照以上方式配置。

17、接下来是修改主机名，把CDHNode2改成CDHNode5

![Center 49][]

![Center 50][]

![Center 51][]

18、重启主机后，就可以看到主机名的变成CDHNode5。

![Center 52][]

![Center 53][]

19、由于我们注释了mac地址，所以我们开改成新的mac地址，首先使用ifconfig查看新的mac地址，记住下面地址，

![Center 54][]

20、进入ifcfg-eth0文件，修改HWaddr，改为刚才查看的mac地址

![Center 45][]

![Center 55][]

再使用service network restart命令重启网络服务。至此配置完毕，最后按Esc,然后：wq保存退出。

接下来在其他节点上进行相应的配置。

## 配置host文件 ##

在5个节点上分别配置hosts文件，注意使用root用户配置

![Center 56][]

![Center 57][]

最后按Esc,然后：wq保存退出。

## 关闭防火墙 ##

在所有节点上使用root用户，关闭防火墙。由于要使用ssh协议来进行主机间的无密码访问，所以需要关闭防火墙。

1、首先查看防火墙的状态，显示防火墙正在运行

![Center 58][]

2、然后永久关闭防火墙，使用chkconfig iptables off命令，此时当前虚拟机的防火墙还没有关闭。只有在关机重启后才能生效。

![Center 59][]

3、关闭ipv6的防火墙

![Center 60][]

4、也可以使用service iptables stop命令，暂时关闭当前主机的防火墙。

![Center 61][]

5、关闭selinux

![Center 62][]

![Center 63][]

将其SELINUX=enforcing设置为SELINUX=disabled

![Center 64][]

最后按Esc,然后：wq保存退出。

## 时间同步 ##

当我们每一次启动集群时，时间基本上是不同步的，所以需要时间同步。要求所以节点保持一致的时间。

注意：使用root用户修改，5个节点同时修改

1、我们先使用date命令查看当前系统时间

![Center 65][]

如果系统时间与当前时间不一致，可以按照如下方式修改

2、查看时区设置是否正确。我们设置的统一时区为Asia/Shanghai，如果时区设置不正确，可以按照如下步骤把当前时区修改为上海。

![Center 66][]

3、下面我们使用ntp(网络时间协议)同步时间。如果ntp命令不存在，则需要在线安装ntp

![Center 67][]

4、安装ntp后，我们可以使用ntpdate命令进行联网时间同步。

![Center 68][]

5、最后我们在使用date命令查看，时间是否同步成功。

注意：在桥接模式下，上述同步时钟的方法行不通。换一下方法，我们使用手动配置时间，在xshell中，全部xshell会话的方式的方式同时更改所有节点。

a、使用date查看时间

b、设置日期，比如设置成2016年5月20日

![Center 69][]

c、设置时间，比如设置成下午1点48分45秒

![Center 70][]

d、最后将当前时间和日期写入BIOS,避免重启后失效

![Center 71][]

## 使用Xshell远程连接centos系统 ##

由于在centos中复制修改等操作方便，我们使用windows上的一款远程连接工具Xshell，下面简单讲一下连接步骤。你需要先从网上下载安装Xshell和Xftp（可以用来可视化的文件传输）这两款工具。

连接步骤如下，以连接CDHNode1为例。

1、首先点击新建按钮，如下；在新建会话属性对话框中输入名称和需要连接的主机ip地址。

![Center 72][]

2、接下来点击左侧的用户身份验证，输入要登录主机的用户名和密码，点击确定，此时创建成功。

![Center 73][]

3、在打开会话对话框中选中刚创建的CDHNode1，然后点击连接

![Center 74][]

4、此时连接成功，即可进行远程操作

![Center 75][]

5、为了以后方便打开远程主机，我们可以把当前连接的主机添加到链接栏中，只需点击添加到链接栏按钮即可添加

![Center 76][]

6、为了防止一个命令在多个主机中输入，我们也可以使用撰写栏，快速的把一个命令传送到所以打开的会话框。提示：撰写栏可以在查看菜单栏中打开。

![Center 77][]

## 配置免密码登录ssh ##

接上面的配置，我们已经使用Xshell远程登录上五个节点。下面我们就配置免密码登录hadoop用户，如果你使用root用户登录的，需要先切换到hadoop用户，使用 su hadoop命令切换。步骤如下：

1、首先切换到hadoop的家目录下，使用cd /home/hadoop命令来切换。然后在hadoop家目录下创建  .ssh目录。

![Center 78][]

2、然后生成hadoop用户的rsa(非对称加密算法)，运行如下命令后，一直回车，即可生成hadoop的公钥和私钥

![Center 79][]

![Center 80][]

3、切换到 .ssh目录下，即可看到已经生成的公钥和私钥。

![Center 81][]

4、按照上面的步骤，在所有节点上生成公钥和私钥，接下来需要把所有节点的公钥发到CDHNode1节点的授权文件。如下图，我们使用Xshell最下方的撰写栏向所有节点发送ssh-copy-id CDHNode1命令。

![Center 82][]

5、执行结果如下，每个节点包括CDHNode1节点，都把自己刚才生成的公钥 id\_rsa.pub文件发送到CDHNode1节点的授权文件authorized\_keys中。

![Center 83][]

注意：也可以在所有节点使用

cat ~/.ssh/id\_rsa.pub | ssh hadoop@CDHNode1 'cat >> ~/.ssh/authorized\_keys' 命令把自己的公钥追加到CDHNode1节点的授权文件authorized\_keys中。

6、可以查看CDHNode1节点的授权文件authorized\_keys中是否把所有节点的公钥都添加到此文件中，若有节点没有加入，则可以使用上一步命令重新添加。

![Center 84][]

7、然后我们就把这个文件拷贝到其他节点的.ssh目录下。

![Center 85][]

![Center 86][]

CDHNode4、CDHNode5按照上述命令自己执行。注意，这个命令是在CDHNode1节点上执行的。

8、根据下图，可以看到CDHNode5下已经复制了一份authorized\_keys文件。下面以CDHNode5为例，修改.ssh目录以及.ssh目录下的文件的权限。其他节点按照如下步骤 一 一 修改。

![Center 87][]

9、修改好权限后，至此ssh配置成功，可以使用ssh测试是否配置成功，第一次使用ssh连接其他节点时需要输入yes,退出使用exit命令，在第二次登陆时，就不需要在输入，如下图直接登陆并显示最后登录时间。

![Center 88][]

提示：rsa非对称加密算法是把公钥发送个对方，对方使用公钥对数据进行加密后，自己在使用私钥对数据进行解密。

**免密码登录的原理：**

1.  需要依靠密钥，也就是自己创建的一对密钥，并把公钥放到需要访问的服务器上。
2.  如果你需要连接SSH服务器，客户端软件就会向服务器发出请求，请求用你的密钥进行安全验证。
3.  服务器收到请求后，现在该服务器上的主目录下寻找你的公钥，然后把它和你发送过来的公钥进行比较。如果两个密钥一致，服务端就用公钥加密“质询”（challenge）,并把它发送给客户端软件。
4.  客户端收到“质询”后，就用你的私钥进行解密。再把它发送个服务器。
5.  服务器比较发送来的“质询”和原先的是否一致，如果一致则进行授权，完成建立会话的操作。

## 脚本工具的使用 ##

此处使用脚本文件的目的是为了简化安装步骤，毕竟有五个节点，如果全部使用命令一个一个操作，太费时费力了。为了简化操作，我们使用脚本文件来帮助我们执行多个重复的命令。就就相当于windows的批处理，把所有的命令集中起来，一个命令完成多个操作。

下面我们在CDHNode1节点上新建三个文件，deploy.conf（配置文件），deploy.sh（实现文件复制的shell脚本文件），runRemoteCdm.sh(在远程节点上执行命令的shell脚本文件)。

1、我们把三个文件放到/home/hadoop/tools目录下，先创建此目录

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 ~\]$ mkdir /home/hadoop/tools

[hadoop@CDHNode1 ~]$ mkdir /home/hadoop/tools

2、然后切换到tools目录下

\[hadoop@CDHNode1 ~\]$cd tools

3、首先创建deploy.conf文件

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$ vi deploy.conf

[hadoop@CDHNode1 tools]$ vi deploy.conf

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  CDHNode1,all,zookeeper,journalnode,namenode,resourcemanager,  
2.  CDHNode2,all,slave,zookeeper,journalnode,namenode,datanode,resourcemanager,  
3.  CDHNode3,all,slave,zookeeper,journalnode,datanode,nodemanager,  
4.  CDHNode4,all,slave,journalnode,datanode,nodemanager,  
5.  CDHNode5,all,slave,journalnode,datanode,nodemanager,

CDHNode1,all,zookeeper,journalnode,namenode,resourcemanager,
    CDHNode2,all,slave,zookeeper,journalnode,namenode,datanode,resourcemanager,
    CDHNode3,all,slave,zookeeper,journalnode,datanode,nodemanager,
    CDHNode4,all,slave,journalnode,datanode,nodemanager,
    CDHNode5,all,slave,journalnode,datanode,nodemanager,

先解释一下这个文件，这个文件就是配置在每个几点上的功能，就是上面所讲的 主机规划。比如zookeeper安装在CDHnode1、CDHnode2、CDHnode3这三个主机上。其他的自己对比查看。  
4、创建deploy.sh文件

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$ vi deploy.sh

[hadoop@CDHNode1 tools]$ vi deploy.sh

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \#!/bin/bash  
2.  \#set -x  
3.    
4.  \#判断参数是否小于3个，因为运行deploy.sh需要有源文件（或源目录）和目标文件（或目标目录），  
5.  \#以及在MachineTag（哪些主机）上执行，这个标记就是上面deploy.conf中的标记 ，如 zookeeper、all等  
6.  \#使用实例如：我们把app目录下的所有文件复制到远程标记为zookeeper的主机上的/home/hadoop/app目录下  
7.  \# ./deploy.sh  /home/hadoop/app /home/hadoop/app zookeeper  
8.  \#执行完上述命令后，shell脚本文件就自动把CDHNode1下的app目录中的文件复制到三个zookeeper节点的app目录下  
9.  if \[ $\# -lt 3 \]    
10. then   
11.   echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"  
12.   echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"  
13.   exit   
14. fi  
15. \#源文件或源目录  
16. src=$1  
17. \#目标文件或目标目录  
18. dest=$2cat   
19. \#标记  
20. tag=$3  
21.   
22. \#判断是否使用deploy.conf配置文件，或者自己指定配置文件  
23.   
24. if \[ 'a'$4'a' == 'aa' \]  
25. then  
26.   confFile=/home/hadoop/tools/deploy.conf  
27. else   
28.   confFile=$4  
29. fi  
30.   
31. \#判断配置文件是否是普通文本文件  
32. if \[ -f $confFile \]  
33. then  
34. \#判断原件是普通文件还是目录  
35.  if \[ -f $src \]  
36.   then  
37. \#如果是普通文件就把解析出标记对应的主机名的ip  
38.  for server in \`cat $confFile|grep -v '^\#'|grep ','$tag','|awk -F',' '\{print $1\}'\`   
39.     do  
40.        scp $src $server":"$\{dest\}  \#使用循环把文件复制到目标ip上的相应目录下  
41.     done   
42.   elif \[ -d $src \]  
43.   then  
44.     for server in \`cat $confFile|grep -v '^\#'|grep ','$tag','|awk -F',' '\{print $1\}'\`   
45.     do  
46.        scp -r $src $server":"$\{dest\}  
47.     done   
48.   else  
49.       echo "Error: No source file exist"  
50.   fi  
51.   
52. else  
53.   echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"  
54. fi

#!/bin/bash
    #set -x
    
    #判断参数是否小于3个，因为运行deploy.sh需要有源文件（或源目录）和目标文件（或目标目录），
    #以及在MachineTag（哪些主机）上执行，这个标记就是上面deploy.conf中的标记 ，如 zookeeper、all等
    #使用实例如：我们把app目录下的所有文件复制到远程标记为zookeeper的主机上的/home/hadoop/app目录下
    # ./deploy.sh  /home/hadoop/app /home/hadoop/app zookeeper
    #执行完上述命令后，shell脚本文件就自动把CDHNode1下的app目录中的文件复制到三个zookeeper节点的app目录下
    if [ $# -lt 3 ]  
    then 
      echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"
      echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"
      exit 
    fi
    #源文件或源目录
    src=$1
    #目标文件或目标目录
    dest=$2cat 
    #标记
    tag=$3
    
    #判断是否使用deploy.conf配置文件，或者自己指定配置文件
    
    if [ 'a'$4'a' == 'aa' ]
    then
      confFile=/home/hadoop/tools/deploy.conf
    else 
      confFile=$4
    fi
    
    #判断配置文件是否是普通文本文件
    if [ -f $confFile ]
    then
    #判断原件是普通文件还是目录
     if [ -f $src ]
      then
    #如果是普通文件就把解析出标记对应的主机名的ip
     for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'` 
        do
           scp $src $server":"${dest}  #使用循环把文件复制到目标ip上的相应目录下
        done 
      elif [ -d $src ]
      then
        for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'` 
        do
           scp -r $src $server":"${dest}
        done 
      else
          echo "Error: No source file exist"
      fi
    
    else
      echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"
    fi

5、创建 runRemoteCmd.sh 脚本文件

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$ vi  runRemoteCmd.sh

[hadoop@CDHNode1 tools]$ vi  runRemoteCmd.sh

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \#!/bin/bash  
2.  \#set -x  
3.  \#判断参数个数  
4.  \#实例如：显示所有节点的java进程，中间用引号的就是命令，这个命令将在所以节点上执行  
5.  \#./runRemoteCmd.sh  "jps" all  
6.  if \[ $\# -lt 2 \]  
7.  then   
8.    echo "Usage: ./runRemoteCmd.sh Command MachineTag"  
9.    echo "Usage: ./runRemoteCmd.sh Command MachineTag confFile"  
10.   exit   
11. fi  
12.   
13. cmd=$1  
14. tag=$2  
15. if \[ 'a'$3'a' == 'aa' \]  
16. then  
17.    
18.   confFile=/home/hadoop/tools/deploy.conf  
19. else   
20.   confFile=$3  
21. fi  
22.   
23. if \[ -f $confFile \]  
24. then  
25.     for server in \`cat $confFile|grep -v '^\#'|grep ','$tag','|awk -F',' '\{print $1\}'\`   
26.     do  
27.        echo "\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*$server\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*"  
28.        ssh $server "source /etc/profile; $cmd"    
29. \# 注意在使用的时候要根据自己设置的环境变量的配置位置，给定相应的source源 ，  
30. \# 如 我把环境变量设/home/hadoop/.bash\_profile文件下，就需要上面这条命令改为  
31. \# ssh $server "source /home/hadoop/.bash\_profile;$cmd"  
32. \#上面的例子：这条命令就是在远程标记为tag的主机下执行这个命令jps。  
33.  done   
34. else  
35.   echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"  
36. fi

#!/bin/bash
    #set -x
    #判断参数个数
    #实例如：显示所有节点的java进程，中间用引号的就是命令，这个命令将在所以节点上执行
    #./runRemoteCmd.sh  "jps" all
    if [ $# -lt 2 ]
    then 
      echo "Usage: ./runRemoteCmd.sh Command MachineTag"
      echo "Usage: ./runRemoteCmd.sh Command MachineTag confFile"
      exit 
    fi
    
    cmd=$1
    tag=$2
    if [ 'a'$3'a' == 'aa' ]
    then
     
      confFile=/home/hadoop/tools/deploy.conf
    else 
      confFile=$3
    fi
    
    if [ -f $confFile ]
    then
        for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'` 
        do
           echo "*******************$server***************************"
           ssh $server "source /etc/profile; $cmd"  
    # 注意在使用的时候要根据自己设置的环境变量的配置位置，给定相应的source源 ，
    # 如 我把环境变量设/home/hadoop/.bash_profile文件下，就需要上面这条命令改为
    # ssh $server "source /home/hadoop/.bash_profile;$cmd"
    #上面的例子：这条命令就是在远程标记为tag的主机下执行这个命令jps。
     done 
    else
      echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"
    fi

6、给脚本文件添加执行权限。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$chmod u+x deploy.sh  
2.  \[hadoop@CDHNode1 tools\]$chmod u+x runRemoteCmd.sh

[hadoop@CDHNode1 tools]$chmod u+x deploy.sh
    [hadoop@CDHNode1 tools]$chmod u+x runRemoteCmd.sh

7、把tools目录添加到环境变量PATH中。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$vi /home/hadoop/.bash\_profile

[hadoop@CDHNode1 tools]$vi /home/hadoop/.bash_profile

添加下面内容

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \#tools  
2.  export PATH=$PATH:/home/hadoop/tools

#tools
    export PATH=$PATH:/home/hadoop/tools

8、是环境变量及时生效

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$source /home/hadoop/.bash\_profile

[hadoop@CDHNode1 tools]$source /home/hadoop/.bash_profile

9、在CDHNode1节点上，通过runRemoteCmd.sh脚本，一键创建所有节点的软件安装目录/home/hadoop/app。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 tools\]$ runRemoteCmd.sh "mkdir /home/hadoop/app" all

[hadoop@CDHNode1 tools]$ runRemoteCmd.sh "mkdir /home/hadoop/app" all

我们可以在所有节点查看到/home/hadoop/app目录已经创建成功。

##     ##

我们先来说一下软件的安装步骤：

对于解压安装的软件，安装步骤为：

1.  使用rz命令上传要安装的文件，此命令只能在远程连接工具xshell上执行，不能再centos虚拟机上执行  
    
2.  使用tar -zxvf  softwarename.tar.gz
3.  修改配置文件（根据需要而定，有时可省略）  
    
4.  在环境变量文件中配置环境变量
5.  使用source 是环境变量文件即时生效。

## 安装JDK ##

首先在CDHNode1上安装jdk,然后复制到其他节点。

1、上传使用rz后，找到下载的jdk文件（jdk-7u79-linux-x64.tar.gz  ）即可，选择后就可以上传，上传需要时间。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 ~\]$cd /home/hadoop/app  
2.    
3.  \[hadoop@CDHNode1 app\]$ rz              //选择本地的下载好的jdk-7u79-linux-x64.tar.gz

[hadoop@CDHNode1 ~]$cd /home/hadoop/app
    
    [hadoop@CDHNode1 app]$ rz              //选择本地的下载好的jdk-7u79-linux-x64.tar.gz

2、解压jdk-7u79-linux-x64.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ tar zxvf jdk-7u79-linux-x64.tar.gz               //解压

[hadoop@CDHNode1 app]$ tar zxvf jdk-7u79-linux-x64.tar.gz               //解压

3、修改jdk的名字，删除上传的压缩文件jdk-7u79-linux-x64.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ mv jdk1.7.0\_79 jdk  
2.  \[hadoop@CDHNode1 app\]$ rm -rf jdk-7u79-linux-x64.tar.gz              //删除安装包

[hadoop@CDHNode1 app]$ mv jdk1.7.0_79 jdk
    [hadoop@CDHNode1 app]$ rm -rf jdk-7u79-linux-x64.tar.gz              //删除安装包

4、配置环境变量

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$vi /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$vi /home/hadoop/.bash_profile

添加

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \#java  
2.  export JAVA\_HOME=/home/hadoop/app/jdk  
3.  export CLASSPATH=.:$JAVA\_HOME/lib:$CLASSPATH  
4.  export PATH=$PATH:$JAVA\_HOME/bin:$JAVA\_HOME/jre/bin

#java
    export JAVA_HOME=/home/hadoop/app/jdk
    export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATH
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

5、使环境变量文件即时生效

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$source  /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$source  /home/hadoop/.bash_profile

6、查看是否安装成功，查看Java版本

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]\# java -version  
2.  java version "1.7.0\_79"  
3.  Java(TM) SE Runtime Environment (build 1.7.0\_79-b15)  
4.  Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

[hadoop@CDHNode1 app]# java -version
    java version "1.7.0_79"
    Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
    Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

出现以上结果就说明CDHNode1节点上的jdk安装成功。

然后将 CDHNode1下的jdk安装包复制到其他节点上。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ deploy.sh jdk /home/hadoop/app/ slave

[hadoop@CDHNode1 app]$ deploy.sh jdk /home/hadoop/app/ slave

CDHNode2、CDHNode3、CDHNode4、CDHNode5加点重复CDHNode1上的jdk配置即可。就是在其他节点上从第4步开始配置。

## 安装Zookeeper ##

首先在CDHNode1上安装Zookeeper,然后复制到其他节点。

1、将本地下载好的zookeeper-3.4.6.tar.gz安装包，上传至CDHNode1节点下的/home/hadoop/app目录下。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ rz              //选择本地下载好的zookeeper-3.4.6.tar.gz

[hadoop@CDHNode1 app]$ rz              //选择本地下载好的zookeeper-3.4.6.tar.gz

2、解压zookeeper-3.4.6.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ tar zxvf zookeeper-3.4.6.tar.gz              //解压

[hadoop@CDHNode1 app]$ tar zxvf zookeeper-3.4.6.tar.gz              //解压

3、修改zookeeper的名字，删除上传的压缩文件zookeeper-3.4.6.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ rm -rf zookeeper-3.4.6.tar.gz              //删除zookeeper-3.4.6.tar.gz安装包  
2.  \[hadoop@CDHNode1 app\]$ mv zookeeper-3.4.6 zookeeper              //重命名

[hadoop@CDHNode1 app]$ rm -rf zookeeper-3.4.6.tar.gz              //删除zookeeper-3.4.6.tar.gz安装包
    [hadoop@CDHNode1 app]$ mv zookeeper-3.4.6 zookeeper              //重命名

4、修改Zookeeper中的配置文件。

\[hadoop@CDHNode1 app\]$ cd /home/hadoop/app/zookeeper/conf/

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 conf\]$ cp zoo\_sample.cfg zoo.cfg              //复制一个zoo.cfg文件  
2.  \[hadoop@CDHNode1 conf\]$ vi zoo.cfg

[hadoop@CDHNode1 conf]$ cp zoo_sample.cfg zoo.cfg              //复制一个zoo.cfg文件
    [hadoop@CDHNode1 conf]$ vi zoo.cfg

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \#添加下面的  
2.  \# The number of milliseconds of each tick  
3.  tickTime=2000  
4.  \# The number of ticks that the initial  
5.  \# synchronization phase can take  
6.  initLimit=10  
7.  \# The number of ticks that can pass between  
8.  \# sending a request and getting an acknowledgement  
9.  syncLimit=5  
10. \# the directory where the snapshot is stored.  
11. \# do not use /tmp for storage, /tmp here is just  
12. \# example sakes.  
13. \#数据文件目录与日志目录  
14. dataDir=/home/hadoop/data/zookeeper/zkdata  
15. dataLogDir=/home/hadoop/data/zookeeper/zkdatalog  
16. \# the port at which the clients will connect  
17. clientPort=2181  
18. \#server.服务编号=主机名称：Zookeeper不同节点之间同步和通信的端口：选举端口（选举leader）  
19. server.1=CDHNode1:2888:3888  
20. server.2=CDHNode2:2888:3888  
21. server.3=CDHNode3:2888:3888  
22.   
23. \# administrator guide before turning on autopurge.  
24. \#  
25. \# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html\#sc\_maintenance  
26. \#  
27. \# The number of snapshots to retain in dataDir  
28. \#autopurge.snapRetainCount=3  
29. \# Purge task interval in hours  
30. \# Set to "0" to disable auto purge feature  
31. \#autopurge.purgeInterval=1  
32. ~                                                                                                                                     
33. ~                                                                                                                                     
34. ~

#添加下面的
    # The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just
    # example sakes.
    #数据文件目录与日志目录
    dataDir=/home/hadoop/data/zookeeper/zkdata
    dataLogDir=/home/hadoop/data/zookeeper/zkdatalog
    # the port at which the clients will connect
    clientPort=2181
    #server.服务编号=主机名称：Zookeeper不同节点之间同步和通信的端口：选举端口（选举leader）
    server.1=CDHNode1:2888:3888
    server.2=CDHNode2:2888:3888
    server.3=CDHNode3:2888:3888
    
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1
    ~                                                                                                                                   
    ~                                                                                                                                   
    ~

5、配置环境变量

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$vi /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$vi /home/hadoop/.bash_profile

添加

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  export ZOOKEEPER\_HOME=/home/hadoop/app/zookeeper  
2.  export PATH=$PATH:$ZOOKEEPER\_HOME/bin

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
    export PATH=$PATH:$ZOOKEEPER_HOME/bin

6、使环境变量文件即时生效

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$source  /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$source  /home/hadoop/.bash_profile

7、通过远程命令deploy.sh将Zookeeper安装目录拷贝到其他节点(CDHNode2、CDHNode3)上面

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$deploy.sh zookeeper /home/hadoop/app/ zookeeper

[hadoop@CDHNode1 app]$deploy.sh zookeeper /home/hadoop/app/ zookeeper

8、通过远程命令runRemoteCmd.sh在所有的zookeeper节点(CDHNode1、CDHNode2、CDHNode3)上面创建目录：

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdata" zookeeper   //创建数据目录  
2.  \[hadoop@CDHNode1 app\]$ runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdatalog" zookeeper   //创建日志目录

[hadoop@CDHNode1 app]$ runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdata" zookeeper   //创建数据目录
    [hadoop@CDHNode1 app]$ runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdatalog" zookeeper   //创建日志目录

9、然后分别在 CDHNode1、CDHNode2、CDHNode3上面，进入zkdata目录下，创建文件myid，里面的内容分别填充为：1、2、3， 这里我们以  CDHNode1为例。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ cd /home/hadoop/data/zookeeper/zkdata  
2.  \[hadoop@CDHNode1 zkdata\]$ vi myid

[hadoop@CDHNode1 app]$ cd /home/hadoop/data/zookeeper/zkdata
    [hadoop@CDHNode1 zkdata]$ vi myid

//输入数字1  
CDHNode2输入数字2、CDHNode3输入数字3。  
  
 10、在CDHNode2、CDHNode3上面配置Zookeeper环境变量。按照第5、6步配置。  
  
11、使用runRemoteCmd.sh 脚本，启动所有节点（CDHNode1、CDHNode2、CDHNode3）上面的Zookeeper。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 zkdata\]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

[hadoop@CDHNode1 zkdata]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

12、查看所有节点上面的QuorumPeerMain进程是否启动。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 zkdata\]$ runRemoteCmd.sh "jps" zookeeper

[hadoop@CDHNode1 zkdata]$ runRemoteCmd.sh "jps" zookeeper

13、查看所有Zookeeper节点状态。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 zkdata\]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh status" zookeeper

[hadoop@CDHNode1 zkdata]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh status" zookeeper

如果一个节点为leader，另2个节点为follower，则说明Zookeeper安装成功。  
注意：QuorumPeerMain可能不显示在jps进程中，可以使用bin/zkServer.sh status 查看状态,无法启动的原因可以查看zookeeper.out文件，查看错误原因

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  <span style="color:\#000000;">\[hadoop@CDHNode2 ~\]$ cd app/zookeeper/  
2.  \[hadoop@CDHNode2 zookeeper\]$ ls  
3.  bin               cloudera-pom.xml  ivysettings.xml  NOTICE.txt            share                              zookeeper.out  
4.  build.properties  conf              ivy.xml          README\_packaging.txt  src  
5.  build.xml         contrib           lib              README.txt            zookeeper-3.4.5-cdh5.4.5.jar  
6.  CHANGES.txt       dist-maven        libexec          recipes               zookeeper-3.4.5-cdh5.4.5.jar.md5  
7.  cloudera          docs              LICENSE.txt      sbin                  zookeeper-3.4.5-cdh5.4.5.jar.sha1  
8.  \[hadoop@CDHNode2 zookeeper\]$ vi zookeeper.out  
9.    
10. 2016-05-20 16:00:30,095 \[myid:\] - INFO  \[main:QuorumPeerConfig@101\] - Reading configuration from: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg  
11. 2016-05-20 16:00:30,099 \[myid:\] - INFO  \[main:QuorumPeerConfig@334\] - Defaulting to majority quorums  
12. 2016-05-20 16:00:30,100 \[myid:\] - ERROR \[main:QuorumPeerMain@86\] - Invalid config, exiting abnormally  
13. org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg  
14.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:121)  
15.         at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:106)  
16.         at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:79)  
17. Caused by: java.lang.IllegalArgumentException: /home/hadoop/data/zookeeper/zkdata/myid file is missing  
18.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:344)  
19.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:117)  
20.         ... 2 more  
21. Invalid config, exiting abnormally  
22. </span>

<span style="color:#000000;">[hadoop@CDHNode2 ~]$ cd app/zookeeper/
    [hadoop@CDHNode2 zookeeper]$ ls
    bin               cloudera-pom.xml  ivysettings.xml  NOTICE.txt            share                              zookeeper.out
    build.properties  conf              ivy.xml          README_packaging.txt  src
    build.xml         contrib           lib              README.txt            zookeeper-3.4.5-cdh5.4.5.jar
    CHANGES.txt       dist-maven        libexec          recipes               zookeeper-3.4.5-cdh5.4.5.jar.md5
    cloudera          docs              LICENSE.txt      sbin                  zookeeper-3.4.5-cdh5.4.5.jar.sha1
    [hadoop@CDHNode2 zookeeper]$ vi zookeeper.out
    
    2016-05-20 16:00:30,095 [myid:] - INFO  [main:QuorumPeerConfig@101] - Reading configuration from: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
    2016-05-20 16:00:30,099 [myid:] - INFO  [main:QuorumPeerConfig@334] - Defaulting to majority quorums
    2016-05-20 16:00:30,100 [myid:] - ERROR [main:QuorumPeerMain@86] - Invalid config, exiting abnormally
    org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
            at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:121)
            at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:106)
            at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:79)
    Caused by: java.lang.IllegalArgumentException: /home/hadoop/data/zookeeper/zkdata/myid file is missing
            at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:344)
            at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:117)
            ... 2 more
    Invalid config, exiting abnormally
    </span>

## 安装hadoop ##

首先在CDHNode1上安装hadoop,然后复制到其他节点。

1、将本地下载好的[hadoop-2.6.0-cdh5.4.5.tar.gz][]安装包，上传至CDHNode1节点下的/home/hadoop/app目录下。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ rz              //选择本地下载好的hadoop-2.6.0-cdh5.4.5.tar.gz

[hadoop@CDHNode1 app]$ rz              //选择本地下载好的hadoop-2.6.0-cdh5.4.5.tar.gz

2、解压hadoop-2.6.0-cdh5.4.5.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ tar zxvf hadoop-2.6.0-cdh5.4.5.tar.gz             //解压

[hadoop@CDHNode1 app]$ tar zxvf hadoop-2.6.0-cdh5.4.5.tar.gz             //解压

3、修改hadoop的名字，删除上传的压缩文件hadoop-2.6.0-cdh5.4.5.tar.gz

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ rm -rf hadoop-2.6.0-cdh5.4.5.tar.gz              //删除hadoop-2.6.0-cdh5.4.5.tar.gz  安装包  
2.  \[hadoop@CDHNode1 app\]$ mv hadoop-2.6.0 hadoop              //重命名

[hadoop@CDHNode1 app]$ rm -rf hadoop-2.6.0-cdh5.4.5.tar.gz              //删除hadoop-2.6.0-cdh5.4.5.tar.gz  安装包
    [hadoop@CDHNode1 app]$ mv hadoop-2.6.0 hadoop              //重命名

4、配置环境变量

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$vi /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$vi /home/hadoop/.bash_profile

添加

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \# hadoop\_home 2.6.0 path  
2.  HADOOP\_HOME=/home/hadoop/app/hadoop  
3.  PATH=$HADOOP\_HOME/bin:$PATH  
4.  export   HADOOP\_HOME PATH

# hadoop_home 2.6.0 path
    HADOOP_HOME=/home/hadoop/app/hadoop
    PATH=$HADOOP_HOME/bin:$PATH
    export   HADOOP_HOME PATH

5、使环境变量文件即时生效

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$source  /home/hadoop/.bash\_profile

[hadoop@CDHNode1 app]$source  /home/hadoop/.bash_profile

6、切换到/home/hadoop/app/hadoop/etc/hadoop/目录下，修改配置文件。

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 app\]$ cd /home/hadoop/app/hadoop/etc/hadoop/

[hadoop@CDHNode1 app]$ cd /home/hadoop/app/hadoop/etc/hadoop/

### 配置HDFS ###

配置hadoop-env.sh

[hadoop@CDHNode1 hadoop]$ vi hadoop-env.sh
    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

配置core-site.xml

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ vi core-site.xml  
2.  <configuration>  
3.          <property>  
4.                  <name>fs.defaultFS</name>  
5.                  <value>hdfs://cluster1</value>  
6.          </property>  
7.          <-- 这里的值指的是默认的HDFS路径 ，取名为cluster1 -->  
8.          <property>  
9.                  <name>hadoop.tmp.dir</name>  
10.                 <value>/home/hadoop/data/tmp</value>  
11.         </property>  
12.         <-- hadoop的临时目录，如果需要配置多个目录，需要逗号隔开，data目录需要我们自己创建 -->  
13.         <property>  
14.                 <name>ha.zookeeper.quorum</name>  
15.                 <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>  
16.         </property>  
17.         <-- 配置Zookeeper 管理HDFS -->  
18. </configuration>

[hadoop@CDHNode1 hadoop]$ vi core-site.xml
    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://cluster1</value>
            </property>
            <-- 这里的值指的是默认的HDFS路径 ，取名为cluster1 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/hadoop/data/tmp</value>
            </property>
            <-- hadoop的临时目录，如果需要配置多个目录，需要逗号隔开，data目录需要我们自己创建 -->
            <property>
                    <name>ha.zookeeper.quorum</name>
                    <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>
            </property>
            <-- 配置Zookeeper 管理HDFS -->
    </configuration>

配置hdfs-site.xml

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ vi hdfs-site.xml  
2.  <configuration>  
3.          <property>  
4.                  <name>dfs.replication</name>  
5.                  <value>3</value>  
6.          </property>  
7.          <-- 数据块副本数为3 -->  
8.          <property>  
9.                  <name>dfs.permissions</name>  
10.                 <value>false</value>  
11.         </property>  
12.         <property>  
13.                 <name>dfs.permissions.enabled</name>  
14.                 <value>false</value>  
15.         </property>  
16.         <-- 权限默认配置为false -->  
17.         <property>  
18.                 <name>dfs.nameservices</name>  
19.                 <value>cluster1</value>  
20.         </property>  
21.         <-- 命名空间，它的值与fs.defaultFS的值要对应，namenode高可用之后有两个namenode，cluster1是对外提供的统一入口 -->  
22.         <property>  
23.                 <name>dfs.ha.namenodes.cluster1</name>  
24.                 <value>CDHNode1,CDHNode2</value>  
25.         </property>  
26.         <-- 指定 nameService 是 cluster1 时的nameNode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可 -->  
27.         <property>  
28.                 <name>dfs.namenode.rpc-address.cluster1.CDHNode1</name>  
29.                 <value>CDHNode1:9000</value>  
30.         </property>  
31.         <-- CDHNode1 rpc地址 -->  
32.         <property>  
33.                 <name>dfs.namenode.http-address.cluster1.CDHNode1</name>  
34.                 <value>CDHNode1:50070</value>  
35.         </property>  
36.         <-- CDHNode1 http地址 -->  
37.         <property>  
38.                 <name>dfs.namenode.rpc-address.cluster1.CDHNode2</name>  
39.                 <value>CDHNode2:9000</value>  
40.         </property>  
41.         <-- CDHNode2 rpc地址 -->  
42.         <property>  
43.                 <name>dfs.namenode.http-address.cluster1.CDHNode2</name>  
44.                 <value>CDHNode2:50070</value>  
45.         </property>  
46.         <-- CDHNode2 http地址 -->  
47.         <property>  
48.                 <name>dfs.ha.automatic-failover.enabled</name>  
49.                 <value>true</value>  
50.         </property>  
51.         <-- 启动故障自动恢复 -->  
52.         <property>  
53.                 <name>dfs.namenode.shared.edits.dir</name>  
54.                 <value>qjournal://CDHNode1:8485;CDHNode2:8485;CDHNode3:8485;CDHNode4:8485;CDHNode5:8485/cluster1</value>  
55.         </property>  
56.         <-- 指定journal -->  
57.         <property>  
58.                 <name>dfs.client.failover.proxy.provider.cluster1</name>  
59.                 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
60.         </property>  
61.         <-- 指定 cluster1 出故障时，哪个实现类负责执行故障切换 -->  
62.         <property>  
63.                 <name>dfs.journalnode.edits.dir</name>  
64.                 <value>/home/hadoop/data/journaldata/jn</value>  
65.         </property>  
66.         <-- 指定JournalNode集群在对nameNode的目录进行共享时，自己存储数据的磁盘路径 -->  
67.         <property>  
68.                 <name>dfs.ha.fencing.methods</name>  
69.                 <value>shell(/bin/true)</value>  
70.         </property>  
71.         <property>  
72.         <name>dfs.ha.fencing.ssh.private-key-files</name>  
73.         <value>/home/hadoop/.ssh/id\_rsa</value>  
74.         </property>  
75.         <property>  
76.         <name>dfs.ha.fencing.ssh.connect-timeout</name>  
77.         <value>10000</value>  
78.         </property>  
79.         <-- 脑裂默认配置 -->  
80.         <property>  
81.                 <name>dfs.namenode.handler.count</name>  
82.                 <value>100</value>  
83.         </property>  
84. </configuration>

[hadoop@CDHNode1 hadoop]$ vi hdfs-site.xml
    <configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>3</value>
            </property>
            <-- 数据块副本数为3 -->
            <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
            </property>
            <property>
                    <name>dfs.permissions.enabled</name>
                    <value>false</value>
            </property>
            <-- 权限默认配置为false -->
            <property>
                    <name>dfs.nameservices</name>
                    <value>cluster1</value>
            </property>
            <-- 命名空间，它的值与fs.defaultFS的值要对应，namenode高可用之后有两个namenode，cluster1是对外提供的统一入口 -->
            <property>
                    <name>dfs.ha.namenodes.cluster1</name>
                    <value>CDHNode1,CDHNode2</value>
            </property>
            <-- 指定 nameService 是 cluster1 时的nameNode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可 -->
            <property>
                    <name>dfs.namenode.rpc-address.cluster1.CDHNode1</name>
                    <value>CDHNode1:9000</value>
            </property>
            <-- CDHNode1 rpc地址 -->
            <property>
                    <name>dfs.namenode.http-address.cluster1.CDHNode1</name>
                    <value>CDHNode1:50070</value>
            </property>
            <-- CDHNode1 http地址 -->
            <property>
                    <name>dfs.namenode.rpc-address.cluster1.CDHNode2</name>
                    <value>CDHNode2:9000</value>
            </property>
            <-- CDHNode2 rpc地址 -->
            <property>
                    <name>dfs.namenode.http-address.cluster1.CDHNode2</name>
                    <value>CDHNode2:50070</value>
            </property>
            <-- CDHNode2 http地址 -->
            <property>
                    <name>dfs.ha.automatic-failover.enabled</name>
                    <value>true</value>
            </property>
            <-- 启动故障自动恢复 -->
            <property>
                    <name>dfs.namenode.shared.edits.dir</name>
                    <value>qjournal://CDHNode1:8485;CDHNode2:8485;CDHNode3:8485;CDHNode4:8485;CDHNode5:8485/cluster1</value>
            </property>
            <-- 指定journal -->
            <property>
                    <name>dfs.client.failover.proxy.provider.cluster1</name>
                    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
            </property>
            <-- 指定 cluster1 出故障时，哪个实现类负责执行故障切换 -->
            <property>
                    <name>dfs.journalnode.edits.dir</name>
                    <value>/home/hadoop/data/journaldata/jn</value>
            </property>
            <-- 指定JournalNode集群在对nameNode的目录进行共享时，自己存储数据的磁盘路径 -->
            <property>
                    <name>dfs.ha.fencing.methods</name>
                    <value>shell(/bin/true)</value>
            </property>
            <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
            </property>
            <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>10000</value>
            </property>
            <-- 脑裂默认配置 -->
            <property>
                    <name>dfs.namenode.handler.count</name>
                    <value>100</value>
            </property>
    </configuration>

配置 slave

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ vi slaves  
2.  CDHNode3  
3.    
4.  CDHNode4  
5.    
6.  CDHNode5

[hadoop@CDHNode1 hadoop]$ vi slaves
    CDHNode3
    
    CDHNode4
    
    CDHNode5

### YARN安装配置 ###

配置mapred-site.xml

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ vi mapred-site.xml  
2.  <configuration>  
3.          <property>  
4.                  <name>mapreduce.framework.name</name>  
5.                  <value>yarn</value>  
6.          </property>  
7.          <-- 指定运行mapreduce的环境是Yarn，与hadoop1不同的地方 -->  
8.  </configuration>  
9.

[hadoop@CDHNode1 hadoop]$ vi mapred-site.xml
    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
            <-- 指定运行mapreduce的环境是Yarn，与hadoop1不同的地方 -->
    </configuration>

配置yarn-site.xml

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ vi yarn-site.xml  
2.  <configuration>  
3.       <property>  
4.            <name>yarn.resourcemanager.connect.retry-interval.ms</name>  
5.            <value>2000</value>  
6.       </property>  
7.       <-- 超时的周期 -->  
8.       <property>  
9.            <name>yarn.resourcemanager.ha.enabled</name>  
10.           <value>true</value>  
11.      </property>  
12.      <-- 打开高可用 -->  
13.      <property>  
14.           <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  
15.           <value>true</value>  
16.      </property>  
17.      <-- 启动故障自动恢复 -->  
18.      <property>  
19.           <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>  
20.           <value>true</value>  
21.      </property>  
22.      <property>  
23.           <name>yarn.resourcemanager.cluster-id</name>  
24.            <value>yarn-rm-cluster</value>  
25.      </property>  
26.      <-- 给yarn cluster 取个名字yarn-rm-cluster -->  
27.      <property>  
28.           <name>yarn.resourcemanager.ha.rm-ids</name>  
29.           <value>rm1,rm2</value>  
30.      </property>  
31.      <-- 给ResourceManager 取个名字 rm1,rm2 -->  
32.      <property>  
33.           <name>yarn.resourcemanager.hostname.rm1</name>  
34.           <value>CDHNode1</value>  
35.      </property>  
36.      <-- 配置ResourceManager rm1 hostname -->  
37.      <property>  
38.           <name>yarn.resourcemanager.hostname.rm2</name>  
39.           <value>CDHNode2</value>  
40.      </property>  
41.      <-- 配置ResourceManager rm2 hostname -->  
42.      <property>  
43.            <name>yarn.resourcemanager.recovery.enabled</name>  
44.           <value>true</value>  
45.      </property>  
46.      <-- 启用resourcemanager 自动恢复 -->  
47.      <property>  
48.           <name>yarn.resourcemanager.zk.state-store.address</name>  
49.            <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>  
50.      </property>  
51.      <-- 配置Zookeeper地址 -->  
52.      <property>  
53.            <name>yarn.resourcemanager.zk-address</name>  
54.           <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>  
55.      </property>  
56.      <-- 配置Zookeeper地址 -->  
57.      <property>  
58.            <name>yarn.resourcemanager.address.rm1</name>  
59.           <value>CDHNode1:8032</value>  
60.      </property>  
61.      <--  rm1端口号 -->  
62.      <property>  
63.           <name>yarn.resourcemanager.scheduler.address.rm1</name>  
64.           <value>CDHNode1:8034</value>  
65.      </property>  
66.      <-- rm1调度器的端口号 -->  
67.      <property>  
68.           <name>yarn.resourcemanager.webapp.address.rm1</name>  
69.           <value>CDHNode1:8088</value>  
70.      </property>  
71.      <-- rm1 webapp端口号 -->  
72.      <property>  
73.           <name>yarn.resourcemanager.address.rm2</name>  
74.      <value>CDHNode2:8032</value>  
75.      </property>  
76.      <-- rm2端口号 -->  
77.      <property>  
78.           <name>yarn.resourcemanager.scheduler.address.rm2</name>  
79.           <value>CDHNode2:8034</value>  
80.      </property>  
81.      <-- rm2调度器的端口号 -->  
82.      <property>  
83.           <name>yarn.resourcemanager.webapp.address.rm2</name>  
84.           <value>CDHNode2:8088</value>  
85.      </property>  
86.      <-- rm2 webapp端口号 -->  
87.      <property>  
88.            <name>yarn.nodemanager.aux-services</name>  
89.           <value>mapreduce\_shuffle</value>  
90.      </property>  
91.      <property>  
92.            <name>yarn.nodemanager.aux-services.mapreduce\_shuffle.class</name>  
93.           <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
94.      </property>  
95.      <-- 执行MapReduce需要配置的shuffle过程 -->  
96. </configuration>

[hadoop@CDHNode1 hadoop]$ vi yarn-site.xml
    <configuration>
         <property>
              <name>yarn.resourcemanager.connect.retry-interval.ms</name>
              <value>2000</value>
         </property>
         <-- 超时的周期 -->
         <property>
              <name>yarn.resourcemanager.ha.enabled</name>
              <value>true</value>
         </property>
         <-- 打开高可用 -->
         <property>
              <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
              <value>true</value>
         </property>
         <-- 启动故障自动恢复 -->
         <property>
              <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
              <value>true</value>
         </property>
         <property>
              <name>yarn.resourcemanager.cluster-id</name>
               <value>yarn-rm-cluster</value>
         </property>
         <-- 给yarn cluster 取个名字yarn-rm-cluster -->
         <property>
              <name>yarn.resourcemanager.ha.rm-ids</name>
              <value>rm1,rm2</value>
         </property>
         <-- 给ResourceManager 取个名字 rm1,rm2 -->
         <property>
              <name>yarn.resourcemanager.hostname.rm1</name>
              <value>CDHNode1</value>
         </property>
         <-- 配置ResourceManager rm1 hostname -->
         <property>
              <name>yarn.resourcemanager.hostname.rm2</name>
              <value>CDHNode2</value>
         </property>
         <-- 配置ResourceManager rm2 hostname -->
         <property>
               <name>yarn.resourcemanager.recovery.enabled</name>
              <value>true</value>
         </property>
         <-- 启用resourcemanager 自动恢复 -->
         <property>
              <name>yarn.resourcemanager.zk.state-store.address</name>
               <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>
         </property>
         <-- 配置Zookeeper地址 -->
         <property>
               <name>yarn.resourcemanager.zk-address</name>
              <value>CDHNode1:2181,CDHNode2:2181,CDHNode3:2181,CDHNode4:2181,CDHNode5:2181</value>
         </property>
         <-- 配置Zookeeper地址 -->
         <property>
               <name>yarn.resourcemanager.address.rm1</name>
              <value>CDHNode1:8032</value>
         </property>
         <--  rm1端口号 -->
         <property>
              <name>yarn.resourcemanager.scheduler.address.rm1</name>
              <value>CDHNode1:8034</value>
         </property>
         <-- rm1调度器的端口号 -->
         <property>
              <name>yarn.resourcemanager.webapp.address.rm1</name>
              <value>CDHNode1:8088</value>
         </property>
         <-- rm1 webapp端口号 -->
    	 <property>
              <name>yarn.resourcemanager.address.rm2</name>
         <value>CDHNode2:8032</value>
         </property>
         <-- rm2端口号 -->
         <property>
              <name>yarn.resourcemanager.scheduler.address.rm2</name>
              <value>CDHNode2:8034</value>
         </property>
         <-- rm2调度器的端口号 -->
         <property>
              <name>yarn.resourcemanager.webapp.address.rm2</name>
              <value>CDHNode2:8088</value>
         </property>
         <-- rm2 webapp端口号 -->
         <property>
               <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
         </property>
         <property>
               <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
         <-- 执行MapReduce需要配置的shuffle过程 -->
    </configuration>

向所有节点分发hadoop安装包。

[hadoop@CDHNode1 app]$ deploy.sh hadoop /home/hadoop/app/ slave

按照目录的规划建立好目录（用于存放数据的目录）：

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  runRemoteCmd.sh "mkdir -p /home/hadoop/data/name" all  
2.    
3.  runRemoteCmd.sh "mkdir -p /home/hadoop/data/hdfs/edits" all  
4.    
5.  runRemoteCmd.sh "mkdir -p /home/hadoop/data/datanode" all  
6.    
7.  runRemoteCmd.sh "mkdir -p /home/hadoop/data/journaldata/jn" all  
8.    
9.  runRemoteCmd.sh "mkdir -p /home/hadoop/data/tmp" all  
10.   
11. runRemoteCmd.sh "touch /home/hadoop/app/hadoop/etc/hadoop/excludes" all  
12.   
13. runRemoteCmd.sh "mkdir -p /home/hadoop/data/pid" all

runRemoteCmd.sh "mkdir -p /home/hadoop/data/name" all
    
    runRemoteCmd.sh "mkdir -p /home/hadoop/data/hdfs/edits" all
    
    runRemoteCmd.sh "mkdir -p /home/hadoop/data/datanode" all
    
    runRemoteCmd.sh "mkdir -p /home/hadoop/data/journaldata/jn" all
    
    runRemoteCmd.sh "mkdir -p /home/hadoop/data/tmp" all
    
    runRemoteCmd.sh "touch /home/hadoop/app/hadoop/etc/hadoop/excludes" all
    
    runRemoteCmd.sh "mkdir -p /home/hadoop/data/pid" all

当你的在初始化工程中出错，要把相关目录的文件删除，然后再重新初始化

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  rm -rf /home/hadoop/data/name/\*  
2.    
3.  rm -rf /home/hadoop/data/hdfs/edits/\*  
4.    
5.  rm -rf /home/hadoop/data/datanode/\*  
6.    
7.  rm -rf /home/hadoop/data/journaldata/jn/\*  
8.    
9.  rm -rf /home/hadoop/data/tmp/\*

rm -rf /home/hadoop/data/name/*
    
    rm -rf /home/hadoop/data/hdfs/edits/*
    
    rm -rf /home/hadoop/data/datanode/*
    
    rm -rf /home/hadoop/data/journaldata/jn/*
    
    rm -rf /home/hadoop/data/tmp/*

###  ###

### 集群初始化    ###

1、启动所有节点上面的Zookeeper进程

[hadoop@CDHNode1 hadoop]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

2、启动所有节点上面的journalnode进程

[hadoop@CDHNode1 hadoop]$ runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all

3、首先在主节点上(比如,CDHNode1)执行格式化

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ bin/hdfs namenode -format              / /namenode 格式化  
2.  \[hadoop@CDHNode1 hadoop\]$ bin/hdfs zkfc -formatZK                 //格式化高可用  
3.  \[hadoop@CDHNode1 hadoop\]$bin/hdfs namenode           //启动namenode

[hadoop@CDHNode1 hadoop]$ bin/hdfs namenode -format              / /namenode 格式化
    [hadoop@CDHNode1 hadoop]$ bin/hdfs zkfc -formatZK                 //格式化高可用
    [hadoop@CDHNode1 hadoop]$bin/hdfs namenode           //启动namenode

注意：执行完上述命令后，程序就会在等待状态，只有执行完下一步时，利用按下ctrl+c来结束namenode进程。

4、与此同时，需要在备节点（比如 CDHNode2）上执行数据同步

注意：同时是在执行完上一步后，上一步程序停止的情况下执行此步骤的

[hadoop@CDHNode2 hadoop]$ bin/hdfs namenode -bootstrapStandby     //同步主节点和备节点之间的元数据

5、CDHNode2同步完数据后，紧接着在CDHNode1节点上，按下ctrl+c来结束namenode进程。 然后关闭所有节点上面的journalnode进程

[hadoop@CDHNode1 hadoop]$ runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all        //然后停掉各节点的journalnode

6、如果上面操作没有问题，我们可以一键启动hdfs所有相关进程

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ sbin/start-dfs.sh

[hadoop@CDHNode1 hadoop]$ sbin/start-dfs.sh

启动成功之后，查看关闭其中一个namenode ，然后在启动namenode 观察切换的状况

7、验证是否启动成功

通过web界面查看namenode启动情况。

http://CDHNode1:50070

注意：在浏览器输入以上网址时，需要先在本机的hosts目录下添加如下映射：  
192.168.3.188  CDHNode1  
192.168.3.189  CDHNode2  
192.168.3.190  CDHNode3  
192.168.3.191  CDHNode4  
192.168.3.192  CDHNode5

启动成功之后，查看关闭其中一个namenode ，然后在启动namenode 观察切换的状况

使用命令 kill

上传文件至hdfs

[hadoop@CDHNode1 hadoop]$ vi a.txt  //本地创建一个a.txt文件
    hadoop CDH
    hello world
    CDH hadoop
    [hadoop@CDHNode1 hadoop]$ hdfs dfs -mkdir /test   //在hdfs上创建一个文件目录
    [hadoop@CDHNode1 hadoop]$ hdfs dfs -put djt.txt /test      //向hdfs上传一个文件
    [hadoop@CDHNode1 hadoop]$ hdfs dfs -ls /test       //查看a.txt是否上传成功

如果上面操作没有问题说明hdfs配置成功。

启动YARN

1、在CDHNode1节点上执行。

[hadoop@CDHNode1 hadoop]$ sbin/start-yarn.sh

2、在CDHNode2节点上面执行。

[hadoop@CDHNode2 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

同时打开一下web界面。

http://CDHNode1:8088
    http://CDHNode2:8088

关闭其中一个resourcemanager，然后再启动，看看这个过程的web界面变化。

3、检查一下ResourceManager状态

[hadoop@CDHNode1 hadoop]$ bin/yarn rmadmin -getServiceState rm1
    [hadoop@CDHNode1 hadoop]$ bin/yarn rmadmin -getServiceState rm2

4、Wordcount示例测试

[hadoop@djt11 hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /test/a.txt /test/out/

如果上面执行没有异常，说明YARN安装成功。

### **集群关启顺序** ###

关闭YARN

a、在CDHNode2节点上面执行

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode2 hadoop\]$ sbin/yarn-daemon.sh stop resourcemanager

[hadoop@CDHNode2 hadoop]$ sbin/yarn-daemon.sh stop resourcemanager

b、在CDHNode1节点上执行

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1  hadoop\]$ sbin/stop-yarn.sh

[hadoop@CDHNode1  hadoop]$ sbin/stop-yarn.sh

c、关闭HDFS

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ sbin/stop-dfs.sh

[hadoop@CDHNode1 hadoop]$ sbin/stop-dfs.sh

d、关闭zookeeper

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh stop" zookeeper

[hadoop@CDHNode1 hadoop]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh stop" zookeeper

### 再次启动集群 ###

a、启动zookeeper

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

[hadoop@CDHNode1 hadoop]$ runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

b、启动HDFS

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ sbin/start-dfs.sh

[hadoop@CDHNode1 hadoop]$ sbin/start-dfs.sh

c、在CDHNode1节点上执行

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode1 hadoop\]$ sbin/start-yarn.sh

[hadoop@CDHNode1 hadoop]$ sbin/start-yarn.sh

d、在CDHNode2节点上面执行

**\[plain\]** [ view plain][view plain] [ copy][view plain] [ print][view plain] [?][view plain]

1.  \[hadoop@CDHNode2 hadoop\]$ sbin/yarn-daemon.sh start resourcemanager

[hadoop@CDHNode2 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

至此，hadoop 分布式集群搭建完毕。

后续再编写HBase，hive等的安装

[Hadoop]: http://blog.csdn.net/u010270403/article/details/51493191
[Link 1]: http://archive.cloudera.com/cdh5/cdh/5/
[CentOS]: http://blog.csdn.net/u010270403/article/details/51444677
[Center]: /images/20220605/8b3dc29f27fa4ccfa7d75d8e7df69e2b.png
[Center 1]: /images/20220605/cf3b66ec5a864481a35d7f9d2f39b5f4.png
[Center 2]: /images/20220605/75d89b1dc41d450088734156883da36c.png
[Center 3]: /images/20220605/2ff062de00784b7bb69b612d7a679050.png
[Center 4]: /images/20220605/85fca09be9674780bd87e9c6a258b17c.png
[Center 5]: /images/20220605/bb960556da7e41a88f11e1e1d0ae1ff2.png
[Center 6]: /images/20220605/c131e6805b344da18fd78fabe395aa0c.png
[Center 7]: /images/20220605/5f6fd9e7243648e6818cb108a36edcdb.png
[Center 8]: /images/20220605/2b645f50e9624f4f957df6986a0968d5.png
[Center 9]: /images/20220605/89d69a41d3894fae97413bb87b75960c.png
[Center 10]: /images/20220605/01362617972f45c68f048cd674300d49.png
[Center 11]: /images/20220605/eceb4f8a55c645b6b2c3101c69350a0c.png
[Center 12]: /images/20220605/c3723ecb2f164219a3f04fcef8222f62.png
[Center 13]: /images/20220605/ee3af08518264f1dad58d3aa0d8bc9ca.png
[Center 14]: /images/20220605/1fcda4ba683142c6b5e4304750132be3.png
[Center 15]: /images/20220605/d84233b008e24db38d80b3cc6aee5b07.png
[Center 16]: /images/20220605/f59cbcde34d94c71a6fb2695df1c59e7.png
[Center 17]: /images/20220605/c72460ea9ba2436a9cb13442fa920f8b.png
[Center 18]: /images/20220605/4ed27c395610411b82d1c25d630d28ce.png
[Center 19]: /images/20220605/4bced438cdad453bbe186960da0dc257.png
[Center 20]: /images/20220605/83eae4c7fab84fddab8724be64aa3977.png
[Center 21]: /images/20220605/158489d8b16d4cdd89b3d2755ae6f796.png
[Center 22]: /images/20220605/60bd09304c9e46238c2320c5336ac281.png
[Center 23]: /images/20220605/49cea149c3eb410abaea301facd6bebd.png
[Center 24]: /images/20220605/9ea9ba058ad549ccbc64d4445e9d5dac.png
[Center 25]: /images/20220605/ecfe518366db46fc8cb0914278ca8bbd.png
[Center 26]: /images/20220605/fb5bc5e8759f4f98bb36a9a03e5769f3.png
[Center 27]: /images/20220605/d715fa8c8adc4e12aeee1f3217e3641e.png
[Center 28]: /images/20220605/c5f2fc008ec646759ea0ed831bebd574.png
[Center 29]: /images/20220605/280e576f868b4c4c8434cd12e3ff41b4.png
[Center 30]: /images/20220605/c8721a08b5264f60b3937eb99ca81f53.png
[Center 31]: /images/20220605/bdba721c54c84dd8b07ee90696bbe6fd.png
[Center 32]: /images/20220605/2563aeea462547c89865de769cfc0c71.png
[Center 33]: /images/20220605/bc076bfb2a674756b870253143a97c70.png
[Center 34]: /images/20220605/5d95dbaf95d3423badadf42feca06a53.png
[Center 35]: /images/20220605/39c3afbdc6fe48bf958a51cd53b219ff.png
[Center 36]: /images/20220605/e1414691045041818b367df169cf6e6a.png
[Center 37]: /images/20220605/0775544a377b441f9c63134a0205f5bc.png
[Center 38]: /images/20220605/e7e8dc8227c44aeeb9f3adfc11a7c30f.png
[Center 39]: /images/20220605/026897dcdfa24bd9a13001f2b43d9800.png
[Center 40]: /images/20220605/a4c7a8a69c68428ca173f3b3fd8311bd.png
[Center 41]: /images/20220605/c3114562f2364f0a998251bfd0d99409.png
[Center 42]: /images/20220605/c7d0a694433e4464863f99390e4de3ae.png
[Center 43]: /images/20220605/1ccf5eee09b8490a8281c32dbbb1a3df.png
[Center 44]: /images/20220605/20f354d1289a4f0485ad3116dc116176.png
[Center 45]: /images/20220605/e95f44113b56423abac65704b49e3947.png
[Center 46]: /images/20220605/ba89e5b473964716afde2acfbc3a3f1e.png
[Center 47]: /images/20220605/04bbdf5404db406986f6402e166b0eb4.png
[Center 48]: /images/20220605/31962b943af64565b2847d3d7ec9c038.png
[Center 49]: /images/20220605/34145e6ce3cd45d6a52378d37f45013d.png
[Center 50]: /images/20220605/e5c0d908a9a94ebbafca2d7be73ad218.png
[Center 51]: /images/20220605/055aa18f4de84dd99b730914de1b8a22.png
[Center 52]: /images/20220605/0c67f807be3642e38b1f387ba40b15d8.png
[Center 53]: /images/20220605/0509dbf287024faa83bc8d4e40441946.png
[Center 54]: /images/20220605/b2e22a9097b7495e937bdd97ec271e7b.png
[Center 55]: /images/20220605/7271cf0fe7374ac99b3488bb496057aa.png
[Center 56]: /images/20220605/e164bdc31a6b46108bcc9738406e0f7f.png
[Center 57]: /images/20220605/c1d80a87e03f49c29b43286d1ef4f707.png
[Center 58]: /images/20220605/6a8ec2426aca404989d89b8e11db82d8.png
[Center 59]: /images/20220605/530c126d54d5477c83a7a5e48965e1ec.png
[Center 60]: /images/20220605/a7dfb2685c8b4b9d8968af14e583f2de.png
[Center 61]: /images/20220605/029d5bf32da74506a8878a3333a1ba8e.png
[Center 62]: /images/20220605/70c45847097b4b138683621f8baaaa3c.png
[Center 63]: /images/20220605/704df69018a54beea5c3b3e61685072e.png
[Center 64]: /images/20220605/2bfdba90f55346faad05db2bca09c70d.png
[Center 65]: /images/20220605/a0033f1aa4e2481c9fd638729974a443.png
[Center 66]: /images/20220605/7e0b60f01d174e53a4e907050e950ac3.png
[Center 67]: /images/20220605/592dc9c202c0462ea51f82003296b06a.png
[Center 68]: /images/20220605/7f038e9a83fc4fe5a98a110decc23853.png
[Center 69]: /images/20220605/055a04ed415243d5a5a1bfb52568ed41.png
[Center 70]: /images/20220605/b3c3a318ee5b4782821f2a0e7e8c58da.png
[Center 71]: /images/20220605/25ec9f005a574cfbb2661dc9e2d2c6d9.png
[Center 72]: /images/20220605/0c3afb4ed42a4a2387a2083bfa9686cb.png
[Center 73]: /images/20220605/c3d3e8f9193e45fb88cba6669ed27cf8.png
[Center 74]: /images/20220605/23f5e5a1b65f41bab241b2eba50672e1.png
[Center 75]: /images/20220605/f8fa688fa96b4743a2805c7cf884dd04.png
[Center 76]: /images/20220605/6efa2d4752d9403abfced894f4c4959e.png
[Center 77]: /images/20220605/ec4ec62a1774466192ea47eeb57cf731.png
[Center 78]: /images/20220605/fdaf674b60d7432d8baa1fdc5a8cc0a3.png
[Center 79]: /images/20220605/06cf6f985ef84ae18400d963b073edd9.png
[Center 80]: /images/20220605/035eb29b9a4e4faabf3ed073b36d1858.png
[Center 81]: /images/20220605/4ec062e6cdcf4fd29eae8db5772b8a5f.png
[Center 82]: /images/20220605/e0c9504294d444b3bfd37770e41bfa44.png
[Center 83]: /images/20220605/c46df3bab33844808ff944c90c2739c2.png
[Center 84]: /images/20220605/7e63a154bd2743a6bb800d4196ff6f3e.png
[Center 85]: /images/20220605/8965de8d0fe9465c976bccea91582892.png
[Center 86]: /images/20220605/50739fda60a444b7a51dbffd196e54dd.png
[Center 87]: /images/20220605/569a9080487a45a8858a10511e43ee4b.png
[Center 88]: /images/20220605/e41db8dc79c14abb989c1edba817aa2a.png
[view plain]: http://blog.csdn.net/u010270403/article/details/51446674#
[hadoop-2.6.0-cdh5.4.5.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.5.tar.gz