Hadoop入门进阶步步高（五）-搭建Hadoop集群

谁借莪１个温暖的怀抱￠ 2022-08-23 14:52 6阅读 0赞

# 五、搭建Hadoop集群 #

上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。

## 1、准备三台服务器 ##

在每台机器的/etc/hosts中都将ip及hostname给映射上：

<table> 
 <tbody> 
 <tr> 
 <td>192.168.56.101&nbsp;&nbsp;nginx1192.168.56.102&nbsp;&nbsp;nginx2192.168.56.103&nbsp;&nbsp;nginx3</td> 
 </tr> 
 </tbody> 
</table>

其中192.168.56.101为前面配置的那台服务器，用于做为namenode及jobtracker，另外两台用于做slaves，用于执行datanode及tasktracker。

要使某台服务器成为namenode，必须在要core-site.xml中指定它；要使某个节点成为jobtracker，必须在mapred-site.xml指定它，这个参见第5点中的core-site.xml以及mapred-site.xml的配置。

对Hadoop来说，从hdfs的角度来看有namenode及datanode，namenode只能够有一个，而datanode可以有多个，namenode存放的是datanode中文件的元数据，客户端通过namenode获取datanode中文件的信息；从jobtracker角度来说看有jobtracker及tasktracker，jobtracker只能够有一个，而tasktracker可以有多外，tasktracker通过jobtracker来调度。

在本例中使用192.168.56.101做为namenode及jobtracker，使用192.168.56.102做为secondarynamenode、datanode以及tasktracker，使用192.168.56.103做为datanode以及tasktracker，详情参见下面的配置。

## 2、三台服务器要具有一致的配置信息 ##

1）、JDK的路径必须相同；

2）、操作Hadoop的用户必须相同；

3）、Hadoop的存放路径必须相同；

Slave机器上的hadoop可直接将namenode上面的hadoop拷贝过去，不用做任何修改，只要路径放置就可以了；

4）、每台机器~/.ssh目录下存放相同的id\_rsa及authorized\_keys

将namenode的机器上的~/.ssh/id\_rsa及authorized\_keys拷贝到每台slave机器上的~/.ssh中，当然slave机器中也必须是安装了ssh的了，然后在每台机器上都通过ssh访问一下其它的两台机器，确保都是可以不输入密码访问的。

5）、三台机器的/etc/profile中的内容相同；

## 3、修改$HADOOP\_HOME/conf/slaves文件 ##

这个文件存放的是所有datanode的IP或者机器名，每行指定一个。我们这里使用nginx2及nginx3来做为datanode，因此slaves文件的配置如下：

<table> 
 <tbody> 
 <tr> 
 <td>nginx2nginx3</td> 
 </tr> 
 </tbody> 
</table>

## 4、修改$HADOOP\_HOME/conf/masters文件（此例中可选） ##

masters文件中放置的是secondarynamenode的机器名，其中默认的内容为“localhost”，但是在生产环境中，肯定不会将namenode和secondarynamenode放置在同一台服务器上，在此例中我就将secondarynamename设置在第二台服务器上，那么此时文件中的内容应该如下：

<table> 
 <tbody> 
 <tr> 
 <td>#这里只使用一台做为secondarynamenodenginx2#nginx3</td> 
 </tr> 
 </tbody> 
</table>

## 5、修改core-site.xml、mapred-site.xml及hdfs-site.xml ##

只需要做简单的修改就可以了，不同点以红色字体标识出。

core-site.xml：

<table> 
 <tbody> 
 <tr> 
 <td>&lt;configuration&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--&nbsp;用于设置Hadoop的文件系统，由URI指定，value对应的服务器就是namenode所在的服务器及端口，secondarynamenode通过在masters这个文件中指定&nbsp;--&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;fs.default.name&lt;/name&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;hdfs://nginx1:9000&lt;/value&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt;&lt;!--&nbsp;配置Hadoop的临时目录，默认在/tmp目录下，但是/tmp上面可能会被系统自动清理掉。--&gt;&lt;name&gt;hadoop.tmp.dir&lt;/name&gt;&lt;!--&nbsp;目录如果不存在，需要手动创建&nbsp;--&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;/home/fenglibin/hadoop_tmp&lt;/value&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;description&gt;A&nbsp;base&nbsp;for&nbsp;other&nbsp;temperary&nbsp;directory&lt;/description&gt;&nbsp;&nbsp;&lt;/property&gt;&lt;/configuration&gt;&nbsp;&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

mapred-site.xml：

<table> 
 <tbody> 
 <tr> 
 <td>&lt;configuration&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--&nbsp;value对应的值为jobtracker所在的服务器及端口，tasktracker在slaves中指定&nbsp;--&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;mapred.job.tracker&lt;/name&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;nginx1:9001&lt;/value&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt;&nbsp;&nbsp;&lt;/configuration&gt;</td> 
 </tr> 
 </tbody> 
</table>

hdfs-site.xml：

<table> 
 <tbody> 
 <tr> 
 <td>&lt;configuration&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--&nbsp;指定其副本数，value的值表示副本的数量&nbsp;--&gt;&nbsp;&nbsp;&lt;name&gt;dfs.replication&lt;/name&gt;&nbsp;&nbsp;&lt;!--&nbsp;这里有两台datanode&nbsp;--&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;2&lt;/value&gt;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt;&nbsp;&nbsp;&lt;/configuration&gt;</td> 
 </tr> 
 </tbody> 
</table>

## 6、启动验证 ##

### 6.1查看进程 ###

DataNode都是通过NameNode启动起来的，因而启动的时候只需要在NameNode上执行start-all.sh就可以了，此时我们查看各服务器中的进程。

Nginx1（NameNode）所在服务器：

<table> 
 <tbody> 
 <tr> 
 <td>fenglibin@ubuntu1110:/usr/local/hadoop-1.2.1$&nbsp;jps2834&nbsp;NameNode3011&nbsp;JobTracker3108&nbsp;Jps</td> 
 </tr> 
 </tbody> 
</table>

Ngnix2：

<table> 
 <tbody> 
 <tr> 
 <td>fenglibin@ubuntu11102:~$&nbsp;jps984&nbsp;DataNode1075&nbsp;TaskTracker919&nbsp;SecondaryNameNode1420&nbsp;Jps</td> 
 </tr> 
 </tbody> 
</table>

Ngnix3：

<table> 
 <tbody> 
 <tr> 
 <td>fenglibin@ubuntu11103:~$&nbsp;jps1374&nbsp;Jps1021&nbsp;TaskTracker846&nbsp;DataNode</td> 
 </tr> 
 </tbody> 
</table>

从上面的进程信息，可以看到nginx1中启动了namenode及jobtracker,，nginx2和nginx3都分别启动了DataNode及TaskTracker，只是nginx2中比nginx3中多启动了一个SecondaryNameNode，这也是我们希望的结果。

通过如下命令：

<table> 
 <tbody> 
 <tr> 
 <td>hadoop&nbsp;dfsadmin&nbsp;-report</td> 
 </tr> 
 </tbody> 
</table>

可得到如下输出：

<table> 
 <tbody> 
 <tr> 
 <td>Warning:&nbsp;$HADOOP_HOME&nbsp;is&nbsp;deprecated.&nbsp;Safe&nbsp;mode&nbsp;is&nbsp;ONConfigured&nbsp;Capacity:&nbsp;15283421184&nbsp;(14.23&nbsp;GB)Present&nbsp;Capacity:&nbsp;10592149504&nbsp;(9.86&nbsp;GB)DFS&nbsp;Remaining:&nbsp;10591629312&nbsp;(9.86&nbsp;GB)DFS&nbsp;Used:&nbsp;520192&nbsp;(508&nbsp;KB)DFS&nbsp;Used%:&nbsp;0%Under&nbsp;replicated&nbsp;blocks:&nbsp;20Blocks&nbsp;with&nbsp;corrupt&nbsp;replicas:&nbsp;0Missing&nbsp;blocks:&nbsp;0&nbsp;-------------------------------------------------Datanodes&nbsp;available:&nbsp;2&nbsp;(2&nbsp;total,&nbsp;0&nbsp;dead)&nbsp;Name:&nbsp;192.168.56.102:50010Decommission&nbsp;Status&nbsp;:&nbsp;NormalConfigured&nbsp;Capacity:&nbsp;7641710592&nbsp;(7.12&nbsp;GB)DFS&nbsp;Used:&nbsp;307200&nbsp;(300&nbsp;KB)Non&nbsp;DFS&nbsp;Used:&nbsp;2733502464&nbsp;(2.55&nbsp;GB)DFS&nbsp;Remaining:&nbsp;4907900928(4.57&nbsp;GB)DFS&nbsp;Used%:&nbsp;0%DFS&nbsp;Remaining%:&nbsp;64.23%Last&nbsp;contact:&nbsp;Sun&nbsp;Jun&nbsp;15&nbsp;15:46:39&nbsp;CST&nbsp;2014&nbsp;&nbsp;Name:&nbsp;192.168.56.103:50010Decommission&nbsp;Status&nbsp;:&nbsp;NormalConfigured&nbsp;Capacity:&nbsp;7641710592&nbsp;(7.12&nbsp;GB)DFS&nbsp;Used:&nbsp;212992&nbsp;(208&nbsp;KB)Non&nbsp;DFS&nbsp;Used:&nbsp;1957769216&nbsp;(1.82&nbsp;GB)DFS&nbsp;Remaining:&nbsp;5683728384(5.29&nbsp;GB)DFS&nbsp;Used%:&nbsp;0%DFS&nbsp;Remaining%:&nbsp;74.38%Last&nbsp;contact:&nbsp;Sun&nbsp;Jun&nbsp;15&nbsp;15:46:39&nbsp;CST&nbsp;2014</td> 
 </tr> 
 </tbody> 
</table>

### 6.2 集群状态监控页面 ###

查看namenode的状态

namenode是布署在192.168.56.101上，只需要输入：

[http://192.168.56.101:50070][http_192.168.56.101_50070]

即可查看namenode的状态，如下图所示：

![Center][]

查看jobtracker的状态

因jobtracker和namenode是布署在同一台机器上的，输入：

[http://192.168.56.101:50030][http_192.168.56.101_50030]

即可查看jobtracker的状态，如下图所示：

![Center 1][]

查看secondarynamenode的状态

Secondarynamenode是布署在192.168.56.102上面，输入：

[http://192.168.56.102:50090][http_192.168.56.102_50090]

即可查看其状态，如下：

![Center 2][]

查看192.168.56.102上面的tasktracker的状态，打入：

[http://192.168.56.102:50060][http_192.168.56.102_50060]

查看状态，如下：

![Center 3][]

从上面可以看出，监控的服务，都是以“500\*”端口对外提供服务，不过这里发现一个问题，同为datanode以及tasktracker的192.168.56.103上面却没有开启一个“500\*”这样的端口，而192.168.56.102上却开启除secondarynamenode之外的其它4个“500\*”这样的端口：

192.168.56.102：

![Center 4][]

其中端口50090是secondarynamenode的监控端口，而50060是tasktracker的监控端口，而50010、50075以及50020都是datanode使用的端口。

而在192.168.56.103上，却只开了两个端口：

![Center 5][]

分别与namenode以及jobtracker相连着的。

为什么在192.168.56.103上面tasktracker以及datanode的监控呢？

[http_192.168.56.101_50070]: http://192.168.56.101:50070
[Center]: /images/20220823/dc0bcd7e72b44e749710acdcd6d2a0e6.png
[http_192.168.56.101_50030]: http://192.168.56.101:50030
[Center 1]: /images/20220823/4c2f2056f12e4df2a9bad069f2e5d050.png
[http_192.168.56.102_50090]: http://192.168.56.102:50090
[Center 2]: /images/20220823/e42eced9a1a044019b48e9b9e3827823.png
[http_192.168.56.102_50060]: http://192.168.56.102:50060
[Center 3]: /images/20220823/5adbe39d686f449db39ada722184d077.png
[Center 4]: /images/20220823/fbdb854b409e452e8041f61b9ac419a3.png
[Center 5]: /images/20220823/dcc3fc7918c149f4b8601e7170237364.png