VMWare下快速搭建Hadoop完全分布式环境

清疚 2022-08-10 11:45 173阅读 0赞

**前言：**

利用VMWare快速搭建Hadoop的完全分布式环境，在一台虚拟机上安装配置好相应的软件和环境变量后，利用vmware的克隆，复制出另外两个虚拟机，这样，一个完全分布式环境就搭建起来了。

这里要说明一点，为了方便后面的配置，利用vmware装ubuntu时，用户名要设置成 hadoop，不然后面的配置改起来麻烦 。

简单起见，vmware如何安装ubuntu就不细说了，下面给出详细的搭建步骤：

**说明：**

标蓝的，是敲入命令行的代码，直接复制到命令行界面运行即可。

**（一）事前准备：**

(1) 进入linux，打开命令行界面，输入 " cd ",进入hadoop用户主目录

(2)在hadoop用户主目录下，创建setup目录，用于存放安装的程序：mkdir setup

(3)更改IP设置：

利用 ifconfig 来查看当前的ip，并将ip设置成静态的ip（按照动态ip的内容，改写成静态ip，包括网关域名等。。）

（三台Linux虚拟机是利用ip来通信的，ip的配置写死在了hosts文件里，如果不配置成静态的，关机重启后，就找不到原来的ip了，也就不能互相通信了，关于静态ip的设置，就不细说了，ubuntu的设置里面，网络->IPv4里面可以配置）

(4)更改hosts配置：

sudo gedit/etc/hosts

（注意，下面的ip要根据你静态设置的ip来写），将下面的内容复制到hosts文件里：

192.168.1.128 master

192.168.1.129 slave1    
          192.168.1.130 slave2

**（二）安装JDK：**

首先去Oracle官网下载Linux下的JDK压缩包，地址如下：

[http://www.oracle.com/technetwork/java/javase/downloads/index.html][http_www.oracle.com_technetwork_java_javase_downloads_index.html]

我下载的是jdk-7u4-linux-i586.tar.gz文件，下载后，复制到 /home/hadoop/setup目录下

**Step1:**  
\# 将jdk文件解压到当前目录：  
    tarzxvf jdk-7u4-linux-i586.tar.gz

将解压后的文件夹重命名为jdk7(名字太长不方便):

mv jdk\* jdk7

**Step2:**  
\# 配置环境变量  
    sudo gedit ~/.profile  
在末尾加上:  
    exportJAVA\_HOME=/home/hadoop/setup/jdk1.7  
**Step3:**   
然后保存关闭，使用source更新下  
    source ~/.profile  
**Step4:**   
使用env命令察看JAVA\_HOME的值  
    env | grep JAVA\_HOME  
如果输出：JAVA\_HOME=/home/hadoop/setup/jdkjdk1.7 ，说明配置成功。  
  
**Step5:**  
\# 将系统默认的jdk修改过来  
    sudo update-alternatives --install /usr/bin/javajava /home/hadoop/setup/jdk1.7/bin/java300

sudo update-alternatives --install /usr/bin/javacjavac /home/hadoop/setup/jdk1.7/bin/javac300   
    sudo update-alternatives --configjava   
    sudoupdate-alternatives --config javac  
  
**Step6:**  
然后再输入:

java -version

看到如下信息，就说明改成sun的jdk了:  
java version"1.7.0\_04"  
Java(TM) SE Runtime Environment(build 1.7.0\_04-b20)  
Java HotSpot(TM) Server VM (build23.0-b21, mixed mode)

（三）安装ssh：

（1）sudo apt-getinstall ssh

这个安装完后，可以直接使用ssh命令 了。执行 netstat -nat ,查看22端口是否开启了

测试：ssh localhost ,输入当前用户的密码，回车就ok了。说明安装成功，同时ssh登录需要密码。

(2)为hadoop上的用户hadoop生成其密钥对:

ssh-keygen  -t rsa ,然后一路按回车键就可以了

（四）安装配置Hadoop：

**   **为了快速起见，直接将本文附件中的hadoop.tar.gz文件复制过来，解压就可以了，具体步骤如下：

将 hadoop.tar.gz 文件复制到/home/hadoop/setup目录下，然后解压：

tar zxvf hadoop.tar.gz

hadoop的安装配置结束。

（五）克隆虚拟机：

在VMWare界面的VM->manage->clone里面，克隆当前Linux虚拟机，如下图：

![VMWare下快速搭建Hadoop完全分布式环境 - wxweven - wxweven的博客][VMWare_Hadoop_ - wxweven - wxweven]

注意，在Clone Type的时候，要选择 creat afull clone,如下图：

![VMWare下快速搭建Hadoop完全分布式环境 - wxweven - wxweven的博客][VMWare_Hadoop_ - wxweven - wxweven 1]

其他的，一路"下一步"即可。

克隆完虚拟机后，在master虚拟机，用"ssh slave1"和"sshslave2"测试下master是否能和slave进行ssh通信，（第一次需要密码，后面就不需要了），如果成功，这说明ssh配置成功。

（六）启动Hadoop：

将三台虚拟机全部开启，并在master机器上，输入如下命令：  
    （1）进入hadoop目录：cd ~/setup/hadoop  
    （2）格式化Hadoop文件系统： bin/hadoop namenode-format   
  
    如果看到类似如下两行的 successfully ，说明格式化文件系统成功！  
     has beensuccessfully formatted.  
     has been successfully formatted.

（3）启动所有节点：bin/start-all.sh

（4）验证hadoop是否正常启动：jps   
       正常启动后，会在master节点上显示：NameNode,JobTracker,SecondaryNameNode  
       而slave1和slave2上会显示：DataNode,TaskTracker

启动hadoop后，可以再浏览器里面查看NameNode和JobTracker，它们的地址默认为：  
    NameNode http://master:50070  
    JobTracker http://master:50030

（七）测试Hadoop版"Helloworld!"：

** ** 搭建完成后，可以测试下wordcount小程序:

(1)准备需要进行wordcount的文件:

sudo gedit/tmp/test.txt

(打开后随便输入一些内容，如"mu ha ha ni daye da ye da"，然后保存退出）

(2)将准备的测试文件上传到dfs文件系统中的firstTest目录下:

bin/hadoop dfs-copyFromLocal /tmp/test.txt firstTest

（注：如dfs中不包含firstTest目录的话就会自动创建一个，关于查看dfs文件系统中已有目录的指令为"bin/hadoopdfs -ls")

(3)执行wordcount:

bin/hadoop jarhadoop\*example\*.jar wordcount firstTest result

（注：此语句意为“对firstTest下的所有文件执行wordcount，将统计结果输出到result文件夹中”，若result文件夹不存在则会自动创建一个）

(4)查看结果

bin/hadoop dfs-cat result/part-r-00000

（注：结果文件默认是输出到一个名为“part-r-\*\*\*\*\*”的文件中的，可用指令“hadoop dfs -lsresult”查看result目录下包含哪些文件）

[http_www.oracle.com_technetwork_java_javase_downloads_index.html]: http://www.oracle.com/technetwork/java/javase/downloads/index.html;
[VMWare_Hadoop_ - wxweven - wxweven]: http://img2.ph.126.net/HB5IBc9krV5O7L27rrSBAw==/1758374179611892109.jpg
[VMWare_Hadoop_ - wxweven - wxweven 1]: http://img0.ph.126.net/x39PJg6z3oFq59sybbJJVQ==/842736080371872954.jpg