Hadoop入门基础教程 Hadoop之单机模式搭建

偏执的太偏执、 2021-09-26 04:46 419阅读 0赞

单机模式所需要的系统资源是最少的，这种安装模式下，[Hadoop][]的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下，官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时，Hadoop完全运行在本地，不与其他节点交互，也不使用Hadoop文件系统，不加载任何守护进程，该模式主要用于开发调试MapReduce应用程序的逻辑，不与任何守护进程交互进而避免复杂性。以hadoop用户远程登录K-Master服务器，在K-Master服务器上安装Hadoop过程如下

开发环境

硬件环境：[CentOS][] 6.5 服务器4台（一台为Master节点，三台为Slave节点）

软件环境：Java 1.7.0\_45、hadoop-1.2.1

1、安装Hadoop

1）以hadoop用户远程登录K-Master服务器，下载[hadoop-1.2.1.tar.gz][] ，并将其拷贝到K-Master服务器的/home/hadoop/目录下。

2）解压hadoop-1.2.1.tar.gz

[hadoop@KVM-Master ~]$ su hadoop
    
    [hadoop@KVM-Master ~]$ cd /usr
    
    [hadoop@KVM-Master usr]$ sudo tar –zxvf  /home/hadoop/hadoop-1.2.1.tar.gz

3) 重命名hadoop

[hadoop@KVM-Master usr]$ sudo mv hadoop-1.2.1/ hadoop/

4）将文件夹”hadoop”读权限分配给hadoop用户

很关键到一步，便于hadoop用户对该文件夹的文件拥有读写权限，不然后续hadoop启动后，无法在该文件夹创建文件和写入日志信息。

[hadoop@KVM-Master usr]$ sudo chown -R hadoop:hadoop /usr/hadoop

5）删除安装包

\[hadoop@KVM-Master ~\]$ rm –rf /home/hadoop/hadoop-1.2.1.tar.gz \#删除”hadoop-1.2.1.tar.gz”安装包

2、配置环境变量

1）配置/etc/profile

[hadoop@KVM-Master ~]$ sudo vi /etc/profile
    
    #HADOOP
    
    export HADOOP_HOME=/usr/hadoop
    
    export PATH=$PATH:$HADOOP_HOME/bin 
    
    export HADOOP_HOME_WARN_SUPPRESS=1

2）使得配置文件在当前终端立即生效

[hadoop@KVM-Master ~] $source /etc/profile

3、启动Hadoop

1）使用start-al.sh命令启动hadoop

[hadoop@KVM-Master ~] $start-all.sh

2）使用jps查看启动是否成功

[hadoop@KVM-Master ~] $jps
    
    jps

因为是单机模式，NameNode和JobTracker等都没有启动，怎么知道安装是否成功了？

3）查看HDFS系统

[hadoop@KVM-Master ~] $ hadoop fs -ls /

通过hadoop fs -ls /命令查看Hadoop HDFS文件管理系统，显示的像Linux文件系统目录。若出现上述所示结果，表明Hadoop单机版安装成功。到目前为止，我们并没有对Hadoop的配置文件做任何修改，全是默认配置，即配置文件全为空，如下所示。

[hadoop@K-Master hadoop] vi conf/core-site.xml
    
    <?xml version="1.0"?>
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    
    
    
    <configuration>
    
    
    
    </configuration>

[Hadoop]: http://www.linuxidc.com/topicnews.aspx?tid=13
[CentOS]: http://www.linuxidc.com/topicnews.aspx?tid=14
[hadoop-1.2.1.tar.gz]: http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz