Hadoop学习笔记1：伪分布式环境搭建

忘是亡心i 2022-09-23 08:55 187阅读 0赞

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下：

1、**CentOS 6.7下安装JDK** , 地址： http://blog.csdn.net/yulei\_qq/article/details/51925673

2、**CenOS虚拟机和Windows通信**，地址：http://blog.csdn.net/yulei\_qq/article/details/51930736

###   Hadoop 安装文件下载 ###

本人使用的安装版本文件是hadoop-2.4.1.tar.gz ，下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

###   Hadoop 伪分布式环境搭建 ###

####                1、 在根目录下创建一个itcast目录 ####

[root@itcast01 ~]# mkdir /itcast

####                2、解压缩刚下载的hadoop文件 到 itcast目录下. ####

[root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz  -C /itcast

####              3、进入该itcast目录下查看解压后的hadoop文件. ####

![20160717111508428][]

####               4、解压塑之后，就需要配置Hadoop的环境变量，跟配置JDK环境变量差不多。            ####

root@itcast01 hadoop-2.4.1]# vim /etc/profile

![20160717112606724][]

配置好之后，保存退出，执行命令source  /etc/profile ，刷新配置.

####         5、Hadoop 配置文件修改. ####

要搭建Hadoop伪分布式环境，需要修改5个配置文件，配置文件都在  **/itcast/hadoop-2.4.1/etc/hadoop 目录下面**

##### **       **     **    (1)  hadoop-env.sh 文件修改                    ** #####

[root@itcast01 hadoop]# vim hadoop-env.sh

![20160717113358992][]

#####                 **(2) core-site.xml 文件修改      **        #####

[root@itcast01 hadoop]# vim core-site.xml

![20160717114153634][]

<configuration>
       
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://itcast01:9000</value>
        </property>
        
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/itcast/hadoop-2.4.1/tmp</value>
        </property>
    </configuration>

##### **       (3)hdfs-site.xml  文件修改** #####

**         ![20160717115057022][]**

<configuration>
           
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
    </configuration>

#####       **  (4) mapred-site.xml 文件修改.** #####

原先文件是 mapred-site.xml.template ，所以需要重命名.

[root@itcast01 hadoop]# mv mapred-site.xml.template   mapred-site.xml

![20160717120257380][]

#####        (5) yarn-site.xml  文件修改 #####

**          ![20160717120443537][]**

<configuration>
               
               <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
               </property>
               
               <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>itcast01</value>
               </property>
    </configuration>

####     ####

####    6、初始化HDFS (格式化文件系统) ####

1、 执行该命令 hdfs  namenode  format

![20160717130208354][]

格式化之后，会在hadoop目录下生成一个tmp 目录.

####             7、启动Hadoop ####

进入hadoop的sbin目录下，可以看见看到有很多启动文件命令.

[root@itcast01 sbin]# pwd
    /itcast/hadoop-2.4.1/sbin
    [root@itcast01 sbin]# ll
    total 116
    -rwxr-xr-x. 1 67974 users 2752 Jun 21  2014 distribute-exclude.sh
    -rwxr-xr-x. 1 67974 users 5814 Jun 21  2014 hadoop-daemon.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 hadoop-daemons.sh
    -rwxr-xr-x. 1 67974 users 1597 Jun 21  2014 hdfs-config.cmd
    -rwxr-xr-x. 1 67974 users 1427 Jun 21  2014 hdfs-config.sh
    -rwxr-xr-x. 1 67974 users 2291 Jun 21  2014 httpfs.sh
    -rwxr-xr-x. 1 67974 users 4063 Jun 21  2014 mr-jobhistory-daemon.sh
    -rwxr-xr-x. 1 67974 users 1648 Jun 21  2014 refresh-namenodes.sh
    -rwxr-xr-x. 1 67974 users 2145 Jun 21  2014 slaves.sh
    -rwxr-xr-x. 1 67974 users 1727 Jun 21  2014 start-all.cmd
    -rwxr-xr-x. 1 67974 users 1471 Jun 21  2014 start-all.sh
    -rwxr-xr-x. 1 67974 users 1128 Jun 21  2014 start-balancer.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 start-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3705 Jun 21  2014 start-dfs.sh
    -rwxr-xr-x. 1 67974 users 1357 Jun 21  2014 start-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1524 Jun 21  2014 start-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1347 Jun 21  2014 start-yarn.sh
    -rwxr-xr-x. 1 67974 users 1718 Jun 21  2014 stop-all.cmd
    -rwxr-xr-x. 1 67974 users 1462 Jun 21  2014 stop-all.sh
    -rwxr-xr-x. 1 67974 users 1179 Jun 21  2014 stop-balancer.sh
    -rwxr-xr-x. 1 67974 users 1414 Jun 21  2014 stop-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3206 Jun 21  2014 stop-dfs.sh
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1595 Jun 21  2014 stop-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-yarn.sh
    -rwxr-xr-x. 1 67974 users 4278 Jun 21  2014 yarn-daemon.sh
    -rwxr-xr-x. 1 67974 users 1353 Jun 21  2014 yarn-daemons.sh

启动Hadoop.

![Center][]

使用start-all.sh 启动，需要多次输入密码，非常不方便. 从上面截图可以看出，已经正常启动了. 接下来用浏览器进行验证：

**      http://192.168.8.118:50070 （HDFS管理界面）  
http://192.168.8.118:8088 （MR管理界面）**

![Image 1][]

![Center 1][]

![Center 2][]

[20160717111508428]: /images/20220720/64da593d185544c9afd81656858d2561.png
[20160717112606724]: /images/20220720/ec49d89800a8421b9e2a7da65362c0e2.png
[20160717113358992]: /images/20220720/fa13801bba4844239e26627711e50881.png
[20160717114153634]: /images/20220720/f35533796fcb490386e7b7cbcd25cdcc.png
[20160717115057022]: /images/20220720/40012d036b684ae5b7edb9a3a5bf3fbb.png
[20160717120257380]: /images/20220720/628d797c8e13463fbf2027fdab85f9d3.png
[20160717120443537]: /images/20220720/ec98b45ccfd545b3855c66bd2d8a7d4d.png
[20160717130208354]: /images/20220720/9d92e834cd8740189c27968f684e58b4.png
[Center]: /images/20220720/f083f30e52b54698a3d1a54e7cb047a9.png
[Image 1]: 
[Center 1]: /images/20220720/0e3cfae2350840849b7d43bc79e9aa8c.png
[Center 2]: /images/20220720/12ea9995ffd948a5aa12f8306ae1b155.png