Hadoop单机模式的配置与安装

ゞ浴缸里的玫瑰 2022-07-27 10:47 171阅读 0赞

**Hadoop单机模式的配置与安装**

**前言：**

由于Hadoop属于java程序，所以，安装Hadoop之前需要先安装jdk。

对于hadoop0.20.2的单机模式安装就需要在一个节点（一台主机）上运行5个节点。

分别是：

JobTracker:负责Hadoop的Job任务分发和管理。

TaskTracker：负责在单个节点上执行MapReduce任务。

对于Hadoop里面的HDFS的节点又有

NameNode：主节点，负责管理文件存储的名称节点

DateNode：数据节点，负责具体的文件存储节点。

由于HDFS中NameNode非常繁忙，容易产生故障。说以对于HDFS文件系统来说，需要一个节点随时给他复制编辑到名称节点NameNOde里面去。这样的一个类似于备份的节点叫做SecondaryNameNode。

所以对于**Hadoop来说单机模式**部署时

JobTracker

TaskTracker

NameNode

SecondaryNameNode

DateNode

这样的5个节点都只能安装在一台主机上。

很显然，在单机模式，里面数据如果自动做备份存储多份就没有意义。所以在单机模式和伪分布式模式里面数据只需要存储一份就可以了。但在完全分布式环境里面hadoop最少有三个节点（三台主机）。

完全分布式。最少要有三个节点（三台主机）

一个节点用来做:NameNode和JobTracker

一个节点用来做：SecondaryNameNode，随时用来编辑日志，完成向NameNode之间的合并。

一个节点用来做：DateNode,存储数据。

虽然三个节点组成的Hadoop并不能算完全分布模式。但已经具备了hadoop的基本构架了。随时可以增加其他节点。因此可以实现工作的节点越多，其hadoop的调度越强大。为了Hadoop能正常运行，Hadoop为每一个进程默认启动了1G的内存，当然这并不影响我们在虚拟机上模式实现。这1G的内存只是它最大能用到的是1G的内存。所以在正在的Hadoop运行时，你必须要保证Hadoop的物理资源要足够才行。

Hadoop的单机模式安装。

一般来说Hadoop都是别人编译好的版本。直接解压缩，然后过去启动就行了。

本次安装Hadoop所需要的基本工具。

hadoop-0.20.2-cdh3u4.tar.gz

jdk-7u76-linux-x64.tar.gz

注意：Hadoop的版非常多，每种版本之间差异特别大，一般每个版本都会对应特定的Jdk版本。

**第一步：解压安装包到指定位置**

\[root@gdy01gandian\]\# tar -xf jdk-7u76-linux-x64.tar.gz -C /usr/gd/

\[root@gdy01gandian\]\# tar -xf hadoop-0.20.2-cdh3u4.tar.gz -C /usr/gd/

![Image 1][]

注意：这里的/usr/gd/目录为本人已经提前创建好的目录，当然，你也可以选择自己创建好的其他目录。不过如果这里的目录改变了，下面后来的配置信息也要随着改变。

**第二步，进入目录查看文件**

\[root@gdy01gandian\]\# cd /usr/gd/

\[root@gdy01 gd\]\#ll

![Image 1][]

**第三步：为jdk和Hadoop创建连接文件。**

\[root@gdy01 gd\]\#ln -s jdk1.7.0\_76 java

\[root@gdy01 gd\]\#ln -s hadoop-0.20.2-cdh3u4 hadoop

![Image 1][]

**第四步：在/etc/profile.d/目录下配置hadoop和Jdk的环境变量**

先配置java的环境变量：

\[root@gdy01 gd\]\#vim /etc/profile.d/java.sh

![Image 1][]

添加如下信息：

JAVA\_HOME=/usr/gd/java

JAVA\_BIN=$JAVA\_HOME/bin

PATH=$JAVA\_BIN:$PATH

export JAVA\_HOMEJAVA\_BIN PATH

![Image 1][]

wq保存退出。

![Image 1][]

配置hadoop的环境变量：

\[root@gdy01 gd\]\#vim /etc/profile.d/hadoop.sh

添加如下信息：

HADOOP\_HOME=/usr/gd/hadoop

PATH=$HADOOP\_HOME/bin:$PATH

export HADOOP\_HOMEPATH

![Image 1][]

wq保存退出。

到这里为了测试刚刚配置的信息是否成功，可以重新登录一次。

\[root@gdy01 gd\]\#exit

退出当前用户

![Image 1][]

然后重新登录：

![Image 1][]

**第五步：检查（hadoop是否已经配置成功，查看hadoop的版本信息）**

输入：

\[root@gdy01 ~\]\# hadoopversion

![Image 1][]

检查java环境变量是否已经配置成功，查看java的版本信息

\[root@gdy01 ~\]\#java -version

![Image 1][]

这里已经看到配置基本完成。

**第六步：修改hadoop的配置文件：**

进入hadoop文件夹

\[root@gdy01 ~\]\# cd/usr/gd/hadoop

\[root@gdy01hadoop\]\# cd conf/

\[root@gdy01 conf\]\#ll

![Image 1][]

【Masters】当前运行的为主节点，Masters定义要运行的第二名称节点。

hadoop的secondary-masters主机列表，当启动Hadoop时，其会在当前主机上启动NameNode和JobTracker，然后通过SSH连接此文件中的主机以作为备用NameNode;

【Slaves】定义每一个重节点。保证每个节点都运行tasktracke,datenode这两个进程。

Hadoop集群的slave主机列表，master启动时会通过SSH连接至此列表中的所有主机并为其启动DataNode和taskTracker进程；

【core-site.xml】用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置；

【hdfs-site.xml】HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置；

【mapred-site.xml】HDFS的相关设定，如reduce任务的默认个数、任务所能够使用内存的默认上下限等，此中的参数定义会覆盖mapred-default.xml文件中的默认配置；

【hadoop-env.sh】用于定义hadoop运行环境相关的配置信息，比如配置JAVA\_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；

经过上面的结束，你应该大致了解了这些配置文件的作业了。接下来就要配置这些信息。

\[root@gdy01 conf\]\#cat masters

\[root@gdy01 conf\]\#cat slaves

![Image 1][]

我们可以看到这里都是localhost。由于本次是按照的单机模式。所以不需要修改这两个文件。

修改core-site.xml文件

\[root@gdy01 conf\]\#vim core-site.xml

![Image 1][]

在这个文件中<configuration>为一个节点，专门用来给我们添加配置信息的。

在<configuration></configuration>之间添加如下信息

<name>hadoop.tmp.dir</name>

<value>/hadoop/temp</value>

</property>

<name>fs.default.name</name>

<value>hdfs://localhost:8020</value>

</property>

![Image 1][]

wq保存退出。

其中：hadoop.tmp.dir的值是指定hadoop的临时目录。

我们知道hadoop中的Map是会生成临时文件的，这里就是定义类似的临时存放文件的目录。

其中：fs.default.name是用来定义HDFS的默认名称节点路径。就是我们将来访问HDFS文件时，如果没有指定路径，就会联系这里定义的路径的主机，去联系这台主机去寻找其路径。

编辑：mapred-site.xml文件

\[root@gdy01 conf\]\#vim mapred-site.xml

![Image 1][]

同样也能看到<configuration>这个接口。

添加如下信息在<configuration></configuration>之间

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

![Image 1][]

wq保存退出

运行MapReduce需要为其指定一个主机作为JobTracker节点，在一个小规模的Hadoop集群中，它通常跟NameNode运行于同一物理主机。可以通过mapred.job.trakcer属性定义JobTracker监听的地址(或主机名)和端口(默认为8021)，与前面的fs.default.name属性的值不同的是，这不是一个URI，而仅一个“主机-端口”组合。

在MapReduce作业运行过程中，中间数据(intermediate data)和工作文件保存于本地临时文件中。根据运行的MapReduce作业不同，这些数据文件可能会非常大，因此，应该通过mapred.local.dir属性为其指定一个有着足够空间的本地文件系统路径，其默认值为$\{hadoop.tmp.dir\}/mapred/local。mapred.job.tracker可以接受多个以逗号分隔路径列表作为其值，并会以轮流的方式将数据分散存储在这些文件系统上，因此指定位于不同磁盘上的多个文件系统路径可以分散数据I/O。

另外，MapReduce使用分布式文件系统为各TaskTracker保存共享数据，这可以通过mapred.system.dir属性进行定义，其默认值为$\{hadoop.tmp.dir\}/mapred/system。下面给出了一个较简单的mapred-site.xml文件示例。

编辑：hdfs-site.xml文件

\[root@gdy01 conf\]\#vim hdfs-site.xml

![Image 1][]

在<configuration> </configuration>之间添加如下内容

<name>dfs.replication</name>

</property>

![Image 1][]

wq保存退出。

HDFS进程有许多属性可以定义其工作路，如dfs.name.dir属性定义的HDFS元数据持久存储路径默认为$\{hadoop.tmp.dir\}/dfs/name、dfs.data.dir属性定义的DataNode用于存储数据块的目录路径默认为$\{hadoop.tmp.dir\}/dfs/data、fs.checkpoint.dir属性定义的SecondaryNameNode用于存储检查点文件的目录默认为$\{hadoop.tmp.dir\}/dfs/namesecondary。

为了数据可用性及冗余的目的，HDFS会在多个节点上保存同一个数据块的多个副本，其默认为3个。而只有一个节点的伪分布式环境中其仅用保存一个副本即可，这可以通过dfs.replication属性进行定义。如下所示的内容即可作为最简单的hdfs-site.xml配置文件。

**第七步：创建启动hadoop的用户，为其用户设置无密码访问本机。**

创建hduser用户

\[root@gdy01 /\]\#useradd hduser

![Image 1][]

将之前的/etc/gd/hadoop文件下的所有文件赋予hduser

\[root@gdy01 /\]\#chown -R hduser.hduser /usr/gd/hadoop/

\[root@gdy01 /\]\# ll/usr/gd/hadoop/

![Image 1][]

为hduser用户指定密码

\[root@gdy01 /\]\#passwd hduser

![Image 1][]