Hadoop

﹏ヽ暗。殇╰゛Y 2021-10-29 07:50 303阅读 0赞

**Hadoop快速入门**

2018/09/04

**目录**

1. Hadoop概述 4

1.1. Hadoop是什么 4

1.2. 分布式必要性 4

1.2.1. 分布式存储的必要性 4

1.2.2. 分布式计算必要性 5

1.3. Hadoop包括哪些组件 6

1.3.1. 说明 6

1.3.2. 结构图 6

2. 单机安装 6

2.1. 安装准备 6

2.2. Hadoop文件加载流程图 7

2.3. 安装步骤 7

2.3.1. 第一步：修改主机名 7

2.3.2. 第二步：创建一个hadoop系统用户 8

2.3.3. 第三步：使用Hadoop登录，上传相关安装软件 10

2.3.4. 第四步：安装JDK 11

2.3.5. 第五步：准备Hadoop文件 12

2.3.6. 第六步：修改配置文件 13

2.3.7. 第七步：将Hadoop的命令加到环境变量 16

2.3.8. 第八步：格式化HDFS文件系统 17

2.3.9. 第九步，启动HDFS文件系统 17

2.3.10. 第十步：启动YARN调度程序 18

2.4. HDFS工作原理 21

3. 集群部署 22

3.1. 集群部署是什么 22

3.2. 集群部署结构图 22

3.3. 部署准备 24

3.4. Linux虚拟机的准备 24

3.5. 免密登录的实现 24

3.5.1. 免密登录是什么 24

3.5.2. Linux免密登录原理图 25

3.5.3. 操作步骤 25

3.6. 集群部署步骤 29

3.6.1. 第一步：配置slaves配置文件 29

3.6.2. 第二步：修改所有服务器的hdfs-site.xml配置 29

3.6.3. 第三步：启动测试 29

3.7. 工作原理 30

3.7.1. 上传工作原理 30

3.7.2. 下载工作原理 31

4. HDFS文件系统（分布式存储） 31

4.1. HDFS是什么 31

4.2. HDFS常用操作命令 31

4.3. Java API操作HDFS 32

4.3.1. 说明 32

4.3.2. 配置步骤 32

4.3.3. 实现上传、下载、删除、查看 35

5. 实战案例\-网盘的实现 37

5.1. 需求 37

5.2. 思路 37

5.3. 准备 37

5.4. 实现步骤 38

5.4.1. 第一部分：编写公共代码 38

5.4.2. 第二部分：用户功能实现 44

5.4.3. 第三部分：网盘功能 56

6. MapReduce（分布式计算） 57

6.1. MapReduce是什么 57

6.2. MapReduce运行流程图 57

6.3. 入门示例 57

6.3.1. 说明 57

6.3.2. 配置步骤 58

6.4. MapRedurce 运行原理图 66

6.5. 本地模式 67

6.5.1. 第一步：配置Hadoop的环境变量 67

6.5.2. 第二步：需要winutils.exe支持 69

6.5.3. 第三步：将demo.txt放在本地目录 70

6.5.4. 第四步：修改WcRunner 70

6.5.5. 第五步：直接运行WcRunner类 72

6.5.6. 第六步：查看测试结果 72

7. Zookeeper 72

8. HA集群部署Hadoop 72

8.1. HA集群是什么 72

8.2. 高可用是什么 73

8.3. 为什么需要使用HA集群 73

8.4. 部署步骤 73

8.4.1. 需求说明 73

8.4.2. 部署思路 74

8.4.3. 第一部分：HA机制的集群配置 74

8.4.4. 第二部分：配置Zookeeper集群 75

8.4.5. 第三步部分：配置NameNode的HA集群 75

8.4.6. 第四部分：配置ResourceManger的HA集群 78

9. 附录A 配置文件参数 78

9.1. core-default.xml 78

9.2. hdfs-default.xml 81

9.3. mapred-default.xml 83

9.4. yarn-default.xml 89

9.5. 新旧属性对应表 90

# 1. **Hadoop概述** #

## 1.1. **Hadoop是什么** ##

<table> 
 <tbody> 
 <tr> 
 <td> The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. </td> 
 </tr> 
 </tbody> 
</table>

根据官方的定义Hadoop是一个开源的分布式计算开发软件。

所谓的分布式计算，简单而言就是可以实现将数据逻辑的处理交予一个服务器集群处理。

## 1.2. **分布式必要性** ##

在每天T级别的的数据系统，没有分布式的数据计算以及存储系统。想一下都恐怖。

Hadoop的出现，让本来需要投资过亿才可以实现的并发性系统，使用极低的成本就可以实现。

### 1.2.1. **分布式存储的必要性** ###

**--传统模式下载逻辑的实现**

**--分布式模式下载逻辑的实现**

** **

\--分布式文件系统，让一个文件系统分布式放在不同的服务器里面。下载的时候可以在不同的服务器下载对应的数据块合并成一个文件。

这样可以提高下载上传的效率。其副本机制硬件损坏导致的数据丢失。

### 1.2.2. **分布式计算必要性** ###

需求：现在有1000个文本文件，每个大小为2G，使用程序读取，并且计算输出计算的结果。

传统模式下，只能在一台电脑上面计算，效率极低。

在分布式系统下，系统会将计算分散在一个服务器集群里面执行需要的逻辑处理。极大地提交了程序的执行效率。

## 1.3. **Hadoop包括哪些组件** ##

### 1.3.1. **说明** ###

Hadoop核心主要包括分布式存储以及分布式计算。分布式存储使用默认使用HDFS分布式文件系统，分布式计算使用MapReduce与YARN模块。

1.  HDFS，一个内置的分布式的文件系统
2.  MapReduce，分布式计算数据分析计算模块
3.  YARN，资源管理调度模块。MapReduce依赖该模块。

### 1.3.2. **结构图** ###

# 2. **单机安装** #

所谓的单机安装，就是在单台服务器中安装Hadoop软件系统。

## 2.1. **安装准备** ##

1.  Jdk1.8安装包
2.  linux虚拟机
3.  hadoop安装包，下载路径http://hadoop.apache.org/releases.html

## 2.2. **Hadoop文件加载流程图** ##

根据运行文件加载流程图，得出Hadoop需要配置的文件包括：

1.  hadoop-env.sh 文件，修改JDK环境变量
2.  core-site.xml 配置文件，修改hadoop的数据目录，以及指定使用的文件系统
3.  hdfs-site.xml配置文件，修改hdfs文件系统的副本个数
4.  mapred-site.xml配置文件，配置分析框架的参数，必须指定MapReduce的调度程序的类型
5.  yarn-site.xml配置文件，指定yarn调度框架Master（ResourceManager），指定调度策略
6.  slaves文件，数据节点（DataNode）加载文件

## 2.3. **安装步骤** ##

### 2.3.1. **第一步：修改主机名** ###

为了方便管理Hadoop主机，我们需要给不同的Hadoop主机一个唯一的主机名。所以在安装Hadoop之前，需要给主机修改一个主机名。

**--修改主机名**

使用命令：sudo vi /etc/sysconfig/network

**--修改后，让主机名生效**

使用命令：sudo hostname u4

退出，重新登录

**--让主机名替代IP，作为访问的地址**

编辑/etc/hosts文件的映射，使用命令：sudo vi /etc/hosts

测试是否生效，如果修改后使用 ping u4,返回ping通信息，说明成功

### 2.3.2. **第二步：创建一个hadoop系统用户** ###

\--这样方便使用hadoop用户管理hadoop

\--先创建一个hadoop组

使用命令：groupadd hadoop

\--在创建一个 hadoop用户，将用户的所属组设置为hadoop组

\--授予hadoop用户有sudoer权限

通过输入visudo 命令，打开sudoers文件

增加 ：hadoop ALL=(ALL) ALL命令，保存

cat /etc/sudoers文件，查看是否成功

问题：为什么需要给hadoop给予sudoers的权限呢？

答：是因为，如果不给hadoop用户sudoers的权限，即使使用sudo命令，也有一些系统功能是无法使用的。给了sudoers权限，hadoop可以通过sudo获得所有的系统访问权限！！

### 2.3.3. **第三步：使用Hadoop登录，上传相关安装软件** ###

\--修改WinSCP的root用户修改为新创建的hadoop用户

\--上传安装包

### 2.3.4. **第四步：安装JDK** ###

**--创建一个app文件夹，将相关的软件统一安装到里面**

**--解压jdk安装包到app目录**

使用命令：

tar -zxvf jdk-8u181-linux-x64.tar.gz

**--配置全局JAVA\_HOME以及PATH环境变量**

编辑/etc/profile,使用命令sudo vi /etc/profile

注意：hadoop是普通用户，所以修改非属于它文件或者目录需要使用sudo开头获得管理权限修改

在profile文件最后追加

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp;<img src="https://img2018.cnblogs.com/blog/1734439/201907/1734439-20190712193213544-1051702956.png" alt=""> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin </td> 
 </tr> 
 </tbody> 
</table>

**--通过source /etc/profile让配置生效，并测试是否配置成功**

### 2.3.5. **第五步：准备Hadoop文件** ###

**--解压Hadoop安装包到app文件夹，并且修改目录名hadoop**

使用命令:tar -zxvf hadoop-2.9.1.tar.gz -C app/

进入app将hadoop-2.9.1 目录名修改为hadoop

\--hadoop目录简单说明

bin：应用程序，主要用于hadoop操作，常用的就是hadoop命令

etc：hadoop配置文件

include：本地实现库的头文件，说明是使用C语言或者C++编写的

lib：本地实现库

sbin：也是应用程序，主要用于启动，关闭hadoop

share：Java实现类库

### 2.3.6. **第六步：修改配置文件** ###

**--配置文件说明**

修改/home/hadoop/app/hadoop/etc/hadoop的

问题：配置的属性可以在哪里找到呢？

学习任何框架，必须要知道一个知识点，配置的属性都可以在代码里面找到。经分析，

配置文件的解释类一般都是，Configuration以及缩写，Builder的单词以及缩写

可以搜索hadoop源码包 “\*-default.xml”，可以找到所有配置文件分别可以配置的属性有哪些

**--hadoop-env.sh文件**

指定Hadoop的JAVA\_HOME环境变量

export JAVA\_HOME=/home/hadoop/app/jdk1.8.0\_181

** **

**--修改core-site.xml配置文件**

core-site.xml是hadoop核心配置文件

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp;&lt;!-- 必须指定使用的文件系统 --&gt; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;fs.defaultFS&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;!--注意：最后的斜杠必须加上--&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;hdfs://u4:9000/&lt;/value&gt; &nbsp;&lt;/property&gt; &nbsp;&lt;!--必须要指定hadoop数据文件的位置--&gt; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;hadoop.tmp.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;!--注意：data文件必须事先创建好--&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;/home/hadoop/app/hadoop/data&lt;/value&gt; &nbsp;&lt;/property&gt; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

**--修改hdfs-site.xml配置文件**

hdfs-site.xml是HDFS文件系统的配置文件，用于配置HDFS配置参数

因为每个datanode上只能存放一个副本，现在是单机配置，数据节点只有一个，所以副本的个数只需要1就可以了

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp;&nbsp;&lt;!--单机配置，数据副本只配置一个就可以--&gt; &nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.replication&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;1&lt;/value&gt; &nbsp;&nbsp;&lt;/property&gt; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

只要配置以上两个配置文件，hadoop就可以启动了。但是无法使用MapReduce程序进行数据分析。所以建议还是将mapred-site.xml配置文件和yarn-site.xml。

**--修改mapred-site.xml配置**

mapred-site.xml配置文件用于MapReduce数据分析框架的参数，必须要指定使用哪个调度框架。

复制mapred-site.xml.template修改文件名为mapred-site.xml

使用命令： cp -v mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml配置文件

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp;&lt;!--指定调度使用的是hadoop自带的yarn--&gt; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;mapreduce.framework.name&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;yarn&lt;/value&gt; &nbsp;&lt;/property&gt; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

**--修改yarn-site.xml配置文件**

** **

yarn-site.xml配置文件用于设置YARN调度框架的参数，必须要要指定ResourceManager的节点。

必须要指定节点的选举规则

** **

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp; &lt;!-- Site specific YARN configuration properties --&gt; &nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--指定ResourceManger--&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;yarn.resourcemanager.hostname&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;u4&lt;/value&gt; &nbsp;&nbsp;&lt;/property&gt; &nbsp;&nbsp;&lt;!--指定节点调度选举规则--&gt; &nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;mapreduce_shuffle&lt;/value&gt; &nbsp;&nbsp;&lt;/property&gt; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

** **

**--修改slaves文件**

将localhost修改为主机名u4

** **

### 2.3.7. **第七步：将Hadoop的命令加到环境变量** ###

为了可以在任何目录的当前路径可以直接访问hadoop的bin以及sbin的命令，需要将这两个目录路径加入到PATH环境变量

**--编辑/etc/profile文件**

使用命令 sudo vi /etc/profile，修改为

<table> 
 <tbody> 
 <tr> 
 <td> export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181 export HADOOP_HOME=/home/hadoop/app/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin </td> 
 </tr> 
 </tbody> 
</table>

**--让环境变量生效**

### 2.3.8. **第八步：格式化HDFS文件系统** ###

\--使用命令： hadoop namenode -format

\--如果不报异常，表示成功。

成功后，会在hadoop配置为data数据目录产生数据文件

### 2.3.9. **第九步，启动HDFS文件系统** ###

**--首先启动hdfs文件系统**

使用start-dfs.sh

**--测试HDFS文件系统是否成功**

上传文件到HDFS文件系统

使用命令：hadoop fs -put  jdk-8u181-linux-x64.tar.gz hdfs://u4:9000/

注意：上传端口默认为9000，路径的最后的斜杠不要写漏

**--使用web客户端查看**

[http://192.168.56.104:50070][http_192.168.56.104_50070]

注意：web端口默认为50070

### 2.3.10. **第十步：启动YARN调度程序** ###

**--启动yarn调度程序**

启动yarn调度程序，才可以执行MapReduce分析程序

使用start-yarn.sh命令启动

工作原理

**--测试是否成功**

** **

需求：通过hadoop自带的示例程序，测试分析文本中，单词的出现次数。

先创建一个文本，起名为demo.txt。随便写入文字

在hdfs文件系统一个wordcount文件夹（文件夹随便你写）

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp;hadoop fs -mkdir &nbsp;hdfs://u4:9000/wordcount/ </td> 
 </tr> 
 <tr> 
 <td> &nbsp;<img src="https://img2018.cnblogs.com/blog/1734439/201907/1734439-20190712193530368-257186763.png" alt=""> &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

再在wordcount文件夹里面创建一个 input文件夹(文件夹名也是随便你写)

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp;hadoop fs -mkdir &nbsp;hdfs://u4:9000/wordcount/input </td> 
 </tr> 
 <tr> 
 <td> &nbsp;<img src="https://img2018.cnblogs.com/blog/1734439/201907/1734439-20190712193539240-958314140.png" alt=""> &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

执行测试MapReduce测试示例程序

hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount /wordcount/input  /wordcount/output

使用格式：hadoop jar <mapreduce程序> <入口类名>  \[参数列表\]

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp;mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount /wordcount/input /wordcount/output &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

下载分析数据文件，查看

## 2.4. **HDFS工作原理** ##

HDFS主要分为：NameNode、SecondaryNameNode以及DataNode三个部分。

1.NameNode：名字子节点。用于统一接收客户端的请求，让客户端获得操作对应的数据节点。

2.SecondaryNameNode：日志备份节点，是HDFS的数据操作的备份机制。通过它来确保数据的有效性

3.DataNode：数据节点，用于存储数据

操作流程，如图所示：

# 3. **集群部署** #

## 3.1. **集群部署是什么** ##

所谓的集群部署就是让Hadoop系统软件在多台机器同时运行，并且协同分布式处理数据。

## 3.2. **集群部署结构图** ##

1.  集群后，一台NameNode可以调动多台DataNode。

1.  集群后，一台ResourceManager可以调动多台NodeManager

1.  上传的文件可以分布式地分块放在不同的Linux系统的HDFS文件系统上

1.  下载时可以在不同的服务器获得文件块。合成下载的文件。

## 3.3. **部署准备** ##

1.  准备三台Linux虚拟机
2.  配置linux系统免密登录

## 3.4. **Linux虚拟机的准备** ##

## 3.5. **免密登录的实现** ##

上面的安装，发现每次启动Hadoop或者关闭都要手工输入密码登录。但是如果集群部署，同时要启动所有的NameNode以及DataNode。那么这样操作非常麻烦。

如果要实现同时一起启动所有的hadoop的NameNode以及所有DataNode。需要配置免密登录。

### 3.5.1. **免密登录是什么** ###

所谓远程登录Linux系统不需要任何密码。

首先第一步，我们要知道远程登录Linux使用的ssh协议。

SSH 是 Secure Shell的简写。就是一种安全的通信的协议。

Linux的远程登录就是使用该协议的。Linux实现的SSH的远程登录软件支持用户密码登录，也支持密钥登录。

免密登录，就是通过密钥登录。

### 3.5.2. **Linux免密登录原理图** ###

准备知识：Linux的远程登录使用SSH协议基于非对称加密算法（RSA）。

必须要指定，所谓的非对称算法，就是加密的密钥和解密的密钥分别是一个密钥对。

1.  公钥加密，必须使用私钥解密
2.  私钥加密，必须使用公钥解密

### 3.5.3. **操作步骤** ###

#### 3.5.3.1. **第一步：使用ssh\_keysgen创建一个密钥对** ####

使用hadoop用户登录，然后使用ssk-keygen命令创建一个密钥对。

在hadoop的个人文件夹下。使用ll -a查看是否已经创建了.ssh文件夹

问题：为什么需要使用\-a参数呢？

答：因为.开头的文件夹是隐藏文件夹，必须使用\-a才可以显示。 \-a:表示显示所有类型的文件已经文件夹包括隐藏的

注意：文件默认的权限是 700的，千万不要修改。免密登录要求，.ssh文件必须为700权限。

#### 3.5.3.2. **第二步：进入.ssh文件夹，创建authorized\_keys** ####

进入.ssh文件夹，创建authorized\_keys文件，将公钥复制到authorized\_keys

通过命令:cat id\_rsa.pub >> authorized\_keys

\--查看是否成功

通过命令：cat authorized\_keys命名查看是否成功

#### 3.5.3.3. **第三步：修改authorized\_keys文件权限** ####

Linux系统规定authorized\_keys必须是600权限，免密登录才生效。

通过命令: chmod 600 authorized\_keys

#### 3.5.3.4. **第四步：压缩.ssh文件夹** ####

回到上一层，使用命令 tar -czvf ssh.tar.gz .ssh/压缩。

#### 3.5.3.5. **第五步：通过scp命名上传到其他Linux系统** ####

上传到远程系统的指定路径，通过 scp ssh.tar.gz 远程主机用户@主机名: 远程路径

如：上传到u2服务器,使用命令：scp ssh.tar.gz hadoop@u2:/home/hadoop/ssh.tar.gz

#### 3.5.3.6. **第六步：登录远程主机** ####

通过ssh命令登录远程主机。

执行命令为：ssh u2，根据提示输入密码

\--登录成功，当前主机名会修改为u2

#### 3.5.3.7. **第七步：登录后，解压ssh文件到当前文件夹** ####

\--查看

#### 3.5.3.8. **第八步：回到u1主机测试** ####

通过exit命名，退回到u1服务器

再使用ssh u2命令登录，确认是否不用输入密码了。如果是，表示配置成功

注意：重复这个步骤，所有需要免密登录的机器就实现所有机器的免密登录了

## 3.6. **集群部署步骤** ##

### 3.6.1. **第一步：配置slaves配置文件** ###

配置完成后，将用于NameNode和ResourceManger的服务器的slaves增加数据节点的配置就可以

编辑u1服务器的hadoop的slaves配置文件

\--进入到slaves目录

\--编辑 vi slaves，内容如下：

### 3.6.2. **第二步：修改所有服务器的hdfs-site.xml配置** ###

\--文件的副本数据，必须大于1，必须小于等于数据节点的个数。

### 3.6.3. **第三步：启动测试** ###

回到u1服务器启动hadoop测试。

\--启动hdfs

\--启动yarn

## 3.7. **工作原理** ##

### 3.7.1. **上传工作原理** ###

### 3.7.2. **下载工作原理** ###

# 4. **HDFS文件系统（分布式存储）** #

## 4.1. **HDFS是什么** ##

HDFS全称：Hadoop Distributed File System，就是Hadoop分布式文件系统。

实现了将数据分布在多台的Linux系统上。从而提高了文件的存取效率。通过副本机制，降低数据丢失的概率。

## 4.2. **HDFS常用操作命令** ##

hadoop fs -put ：上传

hadoop fs -get ：下载

hadoop fs -mkdir ： 创建文件夹

hadoop fs -rm    : 删除文件或者文件夹

hadoop fs -ls     ：查看文件目录

hadoop fs -chown ：修改文件或者文件夹的所属者

hadoop fs -cp ：复制

hadoop fs -chmod 授权

hadoop fs -du : 查看文件夹大小

hadoop fs -mv ：移动文件夹或者目录

hadoop fs -cat ：查看文件内容

## 4.3. **Java API操作HDFS** ##

### 4.3.1. **说明** ###

HDFS分布式文件系统提供了Java API操作的支持。

需求：使用Java API实现对HDFS的文件的上传。

### 4.3.2. **配置步骤** ###

#### 4.3.2.1. **第一步：搭建环境** ####

**--创建一个普通的Java的项目，导入必须的Jar包**

将标红的的文件夹下的所有jar包复制项目

\--项目结构

#### 4.3.2.2. **第二步：复制Hadoop的配置文件到项目** ####

连接HDFS分布式文件系统，需要使用到core-site.xml和hdfs-site.xml配置文件。

所以复制这两个配置文件到项目的classpath根本目录。

#### 4.3.2.3. **第三步：创建HdfsUtils类** ####

创建HdfsUtils获得HDFS操作对象FileSystem对象。

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.utils; &nbsp; import&nbsp;java.io.IOException; import&nbsp;java.net.URI; import&nbsp;java.net.URISyntaxException; &nbsp; import&nbsp;org.apache.hadoop.conf.Configuration; import&nbsp;org.apache.hadoop.fs.FileSystem; &nbsp; public&nbsp;class&nbsp;HdfsUtils { &nbsp; //获得配置建立连接,获得HDFS操作对象 public&nbsp;static&nbsp;FileSystem getFileSystem() { FileSystem fs=null; //1.创建配置类，读取配置文件 Configuration conf=new&nbsp;Configuration(); //2.创建HDFS操作对象FileSystem对象 try&nbsp;{ //参数1：表示HDFS的操作路径 //参数2：设置的参数 //参数3：HDFS的操作用户，必须与HDFS的用户一一对应 fs=FileSystem.get(new&nbsp;URI("hdfs://u1:9000/"), conf, "hadoop"); } catch&nbsp;(IOException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } catch&nbsp;(InterruptedException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } catch&nbsp;(URISyntaxException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } return&nbsp;fs; } public&nbsp;static&nbsp;void&nbsp;main(String[] args) { //如果不报错，输出信息，表示成功 System.out.println(HdfsUtils.getFileSystem()); } } </td> 
 </tr> 
 </tbody> 
</table>

#### 4.3.2.4. **第四步：编写操作代码** ####

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.test; import&nbsp;java.io.FileInputStream; import&nbsp;java.io.IOException; import&nbsp;org.apache.commons.io.IOUtils; import&nbsp;org.apache.hadoop.fs.FSDataOutputStream; import&nbsp;org.apache.hadoop.fs.FileSystem; import&nbsp;org.apache.hadoop.fs.Path; import&nbsp;org.junit.Test; import&nbsp;org.ranger.utils.HdfsUtils; public&nbsp;class&nbsp;HdfsUploadTest { /** &nbsp;* &nbsp;需求：将本地文件上传到HDSF &nbsp;*/ @Test public&nbsp;void&nbsp;fileupload() { //1.获得操作对象 FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); try&nbsp;{ //2.设置上传到指定的HDFS的目录，获得一个输出流 FSDataOutputStream output&nbsp;= fs.create(new&nbsp;Path("/wc/input/demo.txt")); //3.获得本地的文件流 FileInputStream input=new&nbsp;FileInputStream("C:/wc/input/demo.txt"); //4.将文件输入流复制到输出流中 IOUtils.copy(input, output); &nbsp; //5.关闭流 input.close(); output.close(); fs.close(); } catch&nbsp;(IllegalArgumentException e) { e.printStackTrace(); } catch&nbsp;(IOException e) { e.printStackTrace(); } } } </td> 
 </tr> 
 </tbody> 
</table>

#### 4.3.2.5. **注意事项** ####

上传之前，HDFS上面的目录结构是否正确，设置的用户是否和代码的设置的使用兼容

### 4.3.3. **实现上传、下载、删除、查看** ###

实现上传、下载、删除、查看目录、查看文件，创建文件夹。

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.test; import&nbsp;java.io.File; import&nbsp;java.io.FileOutputStream; import&nbsp;java.io.IOException; import&nbsp;java.net.URISyntaxException; import&nbsp;org.apache.commons.io.IOUtils; import&nbsp;org.apache.hadoop.fs.FSDataInputStream; import&nbsp;org.apache.hadoop.fs.FileStatus; import&nbsp;org.apache.hadoop.fs.FileSystem; import&nbsp;org.apache.hadoop.fs.LocatedFileStatus; import&nbsp;org.apache.hadoop.fs.Path; import&nbsp;org.apache.hadoop.fs.RemoteIterator; import&nbsp;org.junit.Test; import&nbsp;org.ranger.utils.HdfsUtils; //注意：hdfs是不支持修改的，修改需要先下载修改再上传。 public&nbsp;class&nbsp;HdfsCurdTest1 { // 1.下载 @Test public&nbsp;void&nbsp;download() throws&nbsp;IOException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); Path path&nbsp;= new&nbsp;Path("hdfs://u1:9000/hadoop-2.9.1.tar.gz"); // 将Hadoop的文件下载到本地 FSDataInputStream in&nbsp;= fs.open(path); FileOutputStream out&nbsp;= new&nbsp;FileOutputStream(new&nbsp;File("c://hadoop-2.9.1.tar.gz")); IOUtils.copy(in, out); &nbsp; } // 2.上传,使用copyFromLocalFile @Test public&nbsp;void&nbsp;upload() throws&nbsp;IOException, InterruptedException, URISyntaxException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); fs.copyFromLocalFile(new&nbsp;Path("c://demo.txt"), new&nbsp;Path("/demo2.txt")); } &nbsp;&nbsp;&nbsp;&nbsp;//3.创建文件夹 @Test public&nbsp;void&nbsp;mkdir() throws&nbsp;IllegalArgumentException, IOException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); fs.mkdirs(new&nbsp;Path("/test/aa")); } //4 .删除文件夹或者文件 @Test public&nbsp;void&nbsp;rm() throws&nbsp;IllegalArgumentException, IOException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); fs.delete(new&nbsp;Path("/test"), true); } //5.查看文件目录 @Test public&nbsp;void&nbsp;dirList() throws&nbsp;IllegalArgumentException, IOException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); FileStatus[] status&nbsp;= fs.listStatus(new&nbsp;Path("/")); for&nbsp;(FileStatus fileStatus&nbsp;: status) { System.out.println(fileStatus.getPath().getName()); } } //6.查看所有文件 @Test public&nbsp;void&nbsp;fileList() throws&nbsp;IllegalArgumentException, IOException { FileSystem fs&nbsp;= HdfsUtils.getFileSystem(); RemoteIterator&lt;LocatedFileStatus&gt; listFiles&nbsp;= fs.listFiles(new&nbsp;Path("/"), true); while&nbsp;(listFiles.hasNext()) { LocatedFileStatus status&nbsp;= listFiles.next(); System.out.println(status.getPath().getName()); } } } </td> 
 </tr> 
 </tbody> 
</table>

# 5. **实战案例\-网盘的实现** #

## 5.1. **需求** ##

实现一个类似百度网盘的的分布式网盘。能够实现对网盘上的文件增删查，可以对文件夹创建，上传，改名

## 5.2. **思路** ##

1.  使用Servlet+JavaBean+JDBC+MySQL技术实现用户登录、注册。
2.  用户登录后，如果该用户在HDFS没有对应的目录，创建一个该用户的目录
3.  使用HDFS的操作接口实现HDFS的文件操作

## 5.3. **准备** ##

数据库SQL脚本

<table> 
 <tbody> 
 <tr> 
 <td> CREATE&nbsp;TABLE&nbsp;`tb_user`&nbsp;( `user_id`&nbsp;BIGINT(20)&nbsp;NOT&nbsp;NULL&nbsp;AUTO_INCREMENT&nbsp;COMMENT&nbsp;'用户编号', `user_name`&nbsp;VARCHAR(50)&nbsp;NULL&nbsp;DEFAULT&nbsp;NULL&nbsp;COMMENT&nbsp;'用户名', `user_account`&nbsp;VARCHAR(50)&nbsp;NULL&nbsp;DEFAULT&nbsp;NULL&nbsp;COMMENT&nbsp;'用户登录账户', `user_password`&nbsp;VARCHAR(50)&nbsp;NULL&nbsp;DEFAULT&nbsp;NULL&nbsp;COMMENT&nbsp;'密码', `user_status`&nbsp;VARCHAR(50)&nbsp;NULL&nbsp;DEFAULT&nbsp;NULL&nbsp;COMMENT&nbsp;'状态，0可用，1禁用', PRIMARY&nbsp;KEY&nbsp;(`user_id`), UNIQUE&nbsp;INDEX&nbsp;`user_account`&nbsp;(`user_account`) ) ENGINE=InnoDB ; </td> 
 </tr> 
 </tbody> 
</table>

## 5.4. **实现步骤** ##

### 5.4.1. **第一部分：编写公共代码** ###

#### 5.4.1.1. **第一步：创建一个动态网站项目** ####

\--创建一个动态网站项目，并且将三层架构的分包创建好，以及将需要的基础类的类名也写好

#### 5.4.1.2. **第二步：编写pojo代码** ####

\--注意：属性和数据库对应表的字段一一对应

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.pojo; public&nbsp;class&nbsp;User { private&nbsp;String userId;// BIGINT(20) '用户编号', private&nbsp;String userName;// VARCHAR(50) '用户名', private&nbsp;String userAccount;// VARCHAR(50) '用户登录账户', private&nbsp;String userPassword;// VARCHAR(50) '密码', private&nbsp;Integer userStatus;// VARCHAR(50) '状态，0可用，1禁用', public&nbsp;String getUserId() { return&nbsp;userId; } public&nbsp;void&nbsp;setUserId(String userId) { this.userId&nbsp;= userId; } public&nbsp;String getUserName() { return&nbsp;userName; } public&nbsp;void&nbsp;setUserName(String userName) { this.userName&nbsp;= userName; } public&nbsp;String getUserAccount() { return&nbsp;userAccount; } public&nbsp;void&nbsp;setUserAccount(String userAccount) { this.userAccount&nbsp;= userAccount; } public&nbsp;String getUserPassword() { return&nbsp;userPassword; } public&nbsp;void&nbsp;setUserPassword(String userPassword) { this.userPassword&nbsp;= userPassword; } public&nbsp;Integer getUserStatus() { return&nbsp;userStatus; } public&nbsp;void&nbsp;setUserStatus(Integer userStatus) { this.userStatus&nbsp;= userStatus; } } </td> 
 </tr> 
 </tbody> 
</table>

#### 5.4.1.3. **第三步：编写DBUtils帮助类** ####

编写DBUtils类，获得数据库连接。

注意：要导入mysql的驱动包。

\--DBUtils类代码

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.utils; import&nbsp;java.sql.Connection; import&nbsp;java.sql.DriverManager; import&nbsp;java.sql.SQLException; public&nbsp;class&nbsp;DbUtils { //连接数据库四要素 private&nbsp;static&nbsp;final&nbsp;String DRIVER="org.gjt.mm.mysql.Driver"; private&nbsp;static&nbsp;final&nbsp;String URL="jdbc:mysql://localhost:3306/network_disk"; private&nbsp;static&nbsp;final&nbsp;String USER="root"; private&nbsp;static&nbsp;final&nbsp;String PASSWORD="123456"; public&nbsp;static&nbsp;Connection getConnection() { try&nbsp;{ //1.加载驱动 Class.forName(DRIVER); &nbsp;//2.返回连接对象 return&nbsp;DriverManager.getConnection(URL, USER, PASSWORD); } catch&nbsp;(SQLException e) { &nbsp; e.printStackTrace(); } catch&nbsp;(ClassNotFoundException e) { &nbsp; e.printStackTrace(); } //3.如果报异常，返回空对象 return&nbsp;null; } public&nbsp;static&nbsp;void&nbsp;main(String[] args) { System.out.println(DbUtils.getConnection()); } } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

#### 5.4.1.4. **第四步：编写DAO的实现** ####

\--DAO接口

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.dao; &nbsp; import&nbsp;java.sql.SQLException; &nbsp; public&nbsp;interface&nbsp;DAO&lt;T&gt; { /** &nbsp;* &nbsp;* 插入记录 &nbsp;* &nbsp;* @param&nbsp;entity &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ int&nbsp;insert(T entity) throws&nbsp;SQLException; &nbsp; /** &nbsp;* 通过编号删除记录 &nbsp;* &nbsp;* @param&nbsp;id &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ int&nbsp;deleteById(Long id) throws&nbsp;SQLException; &nbsp; /** &nbsp;* &nbsp;通过编号查询记录 &nbsp;* @param&nbsp;id &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ T findById(Long id) throws&nbsp;SQLException; &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

\--实现部分，UserDAO

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.dao; import&nbsp;java.sql.Connection; import&nbsp;java.sql.PreparedStatement; import&nbsp;java.sql.ResultSet; import&nbsp;java.sql.SQLException; import&nbsp;org.ranger.pojo.User; import&nbsp;org.ranger.utils.DbUtils; &nbsp; public&nbsp;class&nbsp;UserDAO implements&nbsp;DAO&lt;User&gt;{ &nbsp; @Override public&nbsp;int&nbsp;insert(User entity) throws&nbsp;SQLException { //1.获得数据库连接 Connection conn&nbsp;= DbUtils.getConnection(); String sql&nbsp;="INSERT INTO tb_user(user_name, user_account, user_password, user_status) VALUES (?, ?, ?, ?)"; //2.获得操作对象 PreparedStatement ps&nbsp;= conn.prepareStatement(sql); //3.设置参数 ps.setString(1, entity.getUserName()); ps.setString(2, entity.getUserAccount()); ps.setString(3, entity.getUserPassword()); //如果为空，设置为0 ps.setInt(4,entity.getUserStatus()==null?0:entity.getUserStatus()); //4.操作 int&nbsp;count&nbsp;= ps.executeUpdate(); ps.close(); conn.close(); return&nbsp;count; } &nbsp; @Override public&nbsp;int&nbsp;deleteById(Long id) throws&nbsp;SQLException { //1.获得数据库连接 Connection conn&nbsp;= DbUtils.getConnection(); String sql&nbsp;="DELETE FROM tb_user WHERE user_id=?"; //2.获得操作对象 PreparedStatement ps&nbsp;= conn.prepareStatement(sql); //3.设置参数 ps.setLong(1, id); &nbsp; //4.操作 int&nbsp;count&nbsp;= ps.executeUpdate(); ps.close(); conn.close(); return&nbsp;count; } &nbsp; @Override public&nbsp;User findById(Long id) throws&nbsp;SQLException { &nbsp; //1.获得数据库连接 Connection conn&nbsp;= DbUtils.getConnection(); String sql&nbsp;="SELECT * FROM tb_user WHERE user_id = ?"; //2.获得操作对象 PreparedStatement ps&nbsp;= conn.prepareStatement(sql); //3.设置参数 ps.setLong(1, id); &nbsp; //4.操作 ResultSet rs&nbsp;= ps.executeQuery(); User user&nbsp;=null; if(rs.next()) { user&nbsp;=new&nbsp;User(); user.setUserId(rs.getString("user_id")); user.setUserName(rs.getString("user_name")); user.setUserAccount(rs.getString("user_account")); user.setUserPassword(rs.getString("user_password")); user.setUserStatus(rs.getInt("user_status")); } ps.close(); conn.close(); return&nbsp;user; } &nbsp; public&nbsp;User findByAccount(String account) throws&nbsp;SQLException { &nbsp; //1.获得数据库连接 Connection conn&nbsp;= DbUtils.getConnection(); String sql&nbsp;="SELECT * FROM tb_user WHERE user_account = ?"; //2.获得操作对象 PreparedStatement ps&nbsp;= conn.prepareStatement(sql); //3.设置参数 ps.setString(1, account); //4.操作 ResultSet rs&nbsp;= ps.executeQuery(); User user&nbsp;=null; if(rs.next()) { user&nbsp;=new&nbsp;User(); user.setUserId(rs.getString("user_id")); user.setUserName(rs.getString("user_name")); user.setUserAccount(rs.getString("user_account")); user.setUserPassword(rs.getString("user_password")); user.setUserStatus(rs.getInt("user_status")); } ps.close(); conn.close(); return&nbsp;user; } } </td> 
 </tr> 
 </tbody> 
</table>

#### 5.4.1.5. **第五步：测试插入数据** ####

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.dao.test; &nbsp; import&nbsp;java.sql.SQLException; import&nbsp;org.junit.Test; import&nbsp;org.ranger.dao.UserDAO; import&nbsp;org.ranger.pojo.User; public&nbsp;class&nbsp;UserDAOTest { &nbsp; @Test public&nbsp;void&nbsp;insert() { UserDAO userDAO=new&nbsp;UserDAO(); User user&nbsp;=new&nbsp;User(); try&nbsp;{ user.setUserName("张三"); user.setUserAccount("zhangsan"); userDAO.insert(user&nbsp;); } catch&nbsp;(SQLException e) { e.printStackTrace(); } } } </td> 
 </tr> 
 </tbody> 
</table>

### 5.4.2. **第二部分：用户功能实现** ###

#### 5.4.2.1. **用户注册** ####

\--编写一个注册页面

<table> 
 <tbody> 
 <tr> 
 <td> &lt;%@&nbsp;page&nbsp;language="java"&nbsp;contentType="text/html; charset=UTF-8" &nbsp;&nbsp;&nbsp;&nbsp;pageEncoding="UTF-8"%&gt; &lt;!DOCTYPE&nbsp;html&gt; &lt;html&gt; &lt;head&gt; &lt;meta&nbsp;charset="UTF-8"&gt; &lt;title&gt;用户注册&lt;/title&gt; &lt;style&nbsp;type="text/css"&gt; &nbsp;&nbsp;body&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;margin: 5px; &nbsp;&nbsp;&nbsp;&nbsp;vertical-align: middle; &nbsp;&nbsp;&nbsp;&nbsp;text-align: center; &nbsp;&nbsp;} &nbsp;&nbsp;input&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;margin: 5px; &nbsp;&nbsp;} &lt;/style&gt; &lt;/head&gt; &nbsp; &lt;body&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;!--提示信息--&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;span&nbsp;style="color: red;"&gt; ${register_msg }&lt;/span&gt; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;form&nbsp;action="${pageContext.request.contextPath }/user"&nbsp;method="post"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;input&nbsp;name="action" type="hidden" value="register"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 用户账号：&lt;input&nbsp;name="userAccount"&nbsp;type="text"&gt;&lt;br/&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 用户密码：&lt;input&nbsp;name="userPassword"&nbsp;type="password"&gt;&lt;br/&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 确认密码：&lt;input&nbsp;name="confirmPassword"&nbsp;type="password"&gt;&lt;br/&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;input&nbsp;value="用户注册"&nbsp;type="submit"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;/form&gt; &lt;/body&gt; &lt;/html&gt; </td> 
 </tr> 
 </tbody> 
</table>

\--修改UserDAO增加一个通过账号查询记录的方法

<table> 
 <tbody> 
 <tr> 
 <td> public&nbsp;User findByAccount(String account) throws&nbsp;SQLException { &nbsp; //1.获得数据库连接 Connection conn&nbsp;= DbUtils.getConnection(); String sql&nbsp;="SELECT * FROM tb_user WHERE user_account = ?"; //2.获得操作对象 PreparedStatement ps&nbsp;= conn.prepareStatement(sql); //3.设置参数 ps.setString(1, account); &nbsp; //4.操作 ResultSet rs&nbsp;= ps.executeQuery(); User user&nbsp;=null; if(rs.next()) { user&nbsp;=new&nbsp;User(); user.setUserId(user.getUserId()); user.setUserName(user.getUserName()); user.setUserAccount(user.getUserAccount()); user.setUserPassword(user.getUserPassword()); user.setUserStatus(user.getUserStatus()); } ps.close(); conn.close(); return&nbsp;user; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

\--编写UserService代码

接口部分

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.service; &nbsp; import&nbsp;java.sql.SQLException; &nbsp; import&nbsp;org.ranger.pojo.User; &nbsp; public&nbsp;interface&nbsp;UserService { &nbsp; /** &nbsp;* 用户注册 &nbsp;* @param&nbsp;user &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ User register(User user) throws&nbsp;SQLException; &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

实现部分

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.service.impl; &nbsp; import&nbsp;java.sql.SQLException; &nbsp; import&nbsp;org.ranger.dao.UserDAO; import&nbsp;org.ranger.pojo.User; import&nbsp;org.ranger.service.UserService; &nbsp; public&nbsp;class&nbsp;UserServiceImpl implements&nbsp;UserService { &nbsp; @Override public&nbsp;User register(User user) throws&nbsp;SQLException { UserDAO userDAO=new&nbsp;UserDAO(); int&nbsp;count&nbsp;= userDAO.insert(user); //如果插入成功，返回该用户 if(count&gt;0) { return&nbsp;userDAO.findByAccount(user.getUserAccount()); } return&nbsp;null; } &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

\--编写UserServlet控制器

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.web.servlet; &nbsp; import&nbsp;java.io.IOException; import&nbsp;javax.servlet.ServletException; import&nbsp;javax.servlet.http.HttpServlet; import&nbsp;javax.servlet.http.HttpServletRequest; import&nbsp;javax.servlet.http.HttpServletResponse; import&nbsp;javax.servlet.http.HttpSession; import&nbsp;org.ranger.pojo.User; import&nbsp;org.ranger.service.UserService; import&nbsp;org.ranger.service.impl.UserServiceImpl; &nbsp; public&nbsp;class&nbsp;UserServlet extends&nbsp;HttpServlet { &nbsp; private&nbsp;static&nbsp;final&nbsp;long&nbsp;serialVersionUID&nbsp;= -6221395694585506253L; &nbsp; @Override public&nbsp;void&nbsp;service(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { System.out.println(req.getParameter("userAccount")); String action&nbsp;= req.getParameter("action"); &nbsp; switch&nbsp;(action) { case&nbsp;"register": this.register(req, resp); break; &nbsp; default: System.out.println("-找不到调用的方法-"); break; } &nbsp; } &nbsp; /** &nbsp;* 用户注册 &nbsp;* &nbsp;* @param&nbsp;req &nbsp;* @param&nbsp;resp &nbsp;* @throws&nbsp;IOException &nbsp;* @throws&nbsp;ServletException &nbsp;*/ private&nbsp;void&nbsp;register(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { try&nbsp;{ //1.获得表单参数 System.out.println("-用户注册-"); String userAccount&nbsp;= req.getParameter("userAccount"); String userPassword&nbsp;= req.getParameter("userPassword"); String confirmPassword&nbsp;= req.getParameter("confirmPassword"); //2.验证两次输入的密码是正确 if&nbsp;(userPassword.equals(confirmPassword)) { UserService userService&nbsp;= new&nbsp;UserServiceImpl(); User user&nbsp;= new&nbsp;User(); user.setUserAccount(userAccount); user.setUserPassword(userPassword); user.setUserStatus(0); &nbsp; User resultUser&nbsp;= userService.register(user); HttpSession session&nbsp;= req.getSession(); //注册成功，将用户数据放在会话 session.setAttribute("user", resultUser); req.setAttribute("register_msg", "注册成功！"); //注册成功自动登录 req.getRequestDispatcher("/WEB-INF/views/main.jsp").forward(req, resp); return&nbsp;; } else&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;req.setAttribute("register_msg", "两次输入的密码不一致"); } &nbsp; } catch&nbsp;(Exception e) { &nbsp; e.printStackTrace(); req.setAttribute("register_msg", "出现系统错误，请联系管理员"); } req.getRequestDispatcher("/user_register.jsp").forward(req, resp); &nbsp; } &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

\--编写一个编码过滤器，统一处理表单中文乱码问题

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.web.filter; &nbsp; import&nbsp;java.io.IOException; &nbsp; import&nbsp;javax.servlet.Filter; import&nbsp;javax.servlet.FilterChain; import&nbsp;javax.servlet.FilterConfig; import&nbsp;javax.servlet.ServletException; import&nbsp;javax.servlet.ServletRequest; import&nbsp;javax.servlet.ServletResponse; &nbsp; /** &nbsp;* &nbsp;统一设置编码集 &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;*/ public&nbsp;class&nbsp;CharsetFilter implements&nbsp;Filter { &nbsp; private&nbsp;static&nbsp;String encoding="UTF-8"; &nbsp; @Override public&nbsp;void&nbsp;destroy() { &nbsp; &nbsp; } &nbsp; @Override public&nbsp;void&nbsp;doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws&nbsp;IOException, ServletException { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;request.setCharacterEncoding(encoding); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;response.setCharacterEncoding(encoding); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;chain.doFilter(request, response); &nbsp; } &nbsp; @Override public&nbsp;void&nbsp;init(FilterConfig filterConfig) throws&nbsp;ServletException { String param&nbsp;= filterConfig.getInitParameter("encoding"); if(param!=null&amp;&amp;!"".equals(param)) { encoding=param; } } &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

\--配置web.xml

<table> 
 <tbody> 
 <tr> 
 <td> &lt;?xml&nbsp;version="1.0"&nbsp;encoding="UTF-8"?&gt; &lt;web-app&nbsp;xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd" id="WebApp_ID"&nbsp;version="3.0"&gt; &lt;display-name&gt;network_disk&lt;/display-name&gt; &lt;!-- 编码集过滤器 --&gt; &lt;filter&gt; &nbsp;&nbsp;&lt;filter-name&gt;charsetFilter&lt;/filter-name&gt; &nbsp;&nbsp;&lt;filter-class&gt;org.ranger.web.filter.CharsetFilter&lt;/filter-class&gt; &lt;/filter&gt; &lt;filter-mapping&gt; &nbsp;&nbsp;&lt;filter-name&gt;charsetFilter&lt;/filter-name&gt; &nbsp;&nbsp;&lt;url-pattern&gt;/*&lt;/url-pattern&gt; &lt;/filter-mapping&gt; &lt;!-- 配置servlet&nbsp;--&gt; &lt;servlet&gt; &lt;servlet-name&gt;userServlet&lt;/servlet-name&gt; &lt;servlet-class&gt;org.ranger.web.servlet.UserServlet&lt;/servlet-class&gt; &lt;/servlet&gt; &lt;servlet-mapping&gt; &lt;servlet-name&gt;userServlet&lt;/servlet-name&gt; &lt;url-pattern&gt;/user&lt;/url-pattern&gt; &lt;/servlet-mapping&gt; &nbsp; &lt;welcome-file-list&gt; &lt;welcome-file&gt;index.jsp&lt;/welcome-file&gt; &lt;/welcome-file-list&gt; &lt;/web-app&gt; </td> 
 </tr> 
 </tbody> 
</table>

#### 5.4.2.2. **用户登录** ####

\--创建一个登陆页面

<table> 
 <tbody> 
 <tr> 
 <td> &lt;%@&nbsp;page&nbsp;language="java"&nbsp;contentType="text/html; charset=UTF-8" &nbsp;&nbsp;&nbsp;&nbsp;pageEncoding="UTF-8"%&gt; &lt;!DOCTYPE&nbsp;html&gt; &lt;html&gt; &lt;head&gt; &lt;meta&nbsp;charset="UTF-8"&gt; &lt;title&gt;用户注册&lt;/title&gt; &lt;style&nbsp;type="text/css"&gt; &nbsp;&nbsp;body&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;margin: 5px; &nbsp;&nbsp;&nbsp;&nbsp;vertical-align: middle; &nbsp;&nbsp;&nbsp;&nbsp;text-align: center; &nbsp;&nbsp;} &nbsp;&nbsp;input&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;margin: 5px; &nbsp;&nbsp;} &lt;/style&gt; &lt;/head&gt; &nbsp; &lt;body&gt; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;span&nbsp;style="color: red;"&gt; ${login_msg }&lt;/span&gt; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;form&nbsp;action="${pageContext.request.contextPath }/user"&nbsp;method="post"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;input&nbsp;name="action"&nbsp;type="hidden"&nbsp;value="login"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 用户账号：&lt;input&nbsp;name="userAccount"&nbsp;type="text"&gt;&lt;br/&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 用户密码：&lt;input&nbsp;name="userPassword"&nbsp;type="password"&gt;&lt;br/&gt; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;input&nbsp;value="用户登录"&nbsp;type="submit"&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;/form&gt; &lt;/body&gt; &lt;/html&gt; </td> 
 </tr> 
 </tbody> 
</table>

\---修改UserService接口，标红代码

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp; public&nbsp;interface&nbsp;UserService { &nbsp; /** &nbsp;* 用户注册 &nbsp;* @param&nbsp;user &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ User register(User user) throws&nbsp;SQLException; /** &nbsp;* 用户登录 &nbsp;* @param&nbsp;user &nbsp;* @return &nbsp;* @throws&nbsp;SQLException &nbsp;*/ User login(User user) throws&nbsp;SQLException; } </td> 
 </tr> 
 </tbody> 
</table>

\--修改UserServiceImpl实现

<table> 
 <tbody> 
 <tr> 
 <td> &nbsp; public&nbsp;class&nbsp;UserServiceImpl implements&nbsp;UserService { &nbsp; @Override public&nbsp;User register(User user) throws&nbsp;SQLException { UserDAO userDAO&nbsp;= new&nbsp;UserDAO(); int&nbsp;count&nbsp;= userDAO.insert(user); // 如果插入成功，返回该用户 if&nbsp;(count&nbsp;&gt; 0) { return&nbsp;userDAO.findByAccount(user.getUserAccount()); } return&nbsp;null; } &nbsp; @Override public&nbsp;User login(User user) throws&nbsp;SQLException { try&nbsp;{ UserDAO userDAO = new&nbsp;UserDAO(); User resultUser = userDAO.findByAccount(user.getUserAccount()); if&nbsp;(user.getUserPassword().equals(resultUser.getUserPassword())) { return&nbsp;resultUser; } } catch&nbsp;(Exception e) { e.printStackTrace(); } return&nbsp;null; } } </td> 
 </tr> 
 </tbody> 
</table>

\--修改UserServlet代码

<table> 
 <tbody> 
 <tr> 
 <td> public&nbsp;class&nbsp;UserServlet extends&nbsp;HttpServlet { private&nbsp;static&nbsp;final&nbsp;long&nbsp;serialVersionUID&nbsp;= -6221395694585506253L; @Override public&nbsp;void&nbsp;service(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { System.out.println(req.getParameter("userAccount")); String action&nbsp;= req.getParameter("action"); switch&nbsp;(action) { case&nbsp;"register": this.register(req, resp); break; case&nbsp;"login": this.login(req, resp); break; default: System.out.println("-找不到调用的方法-"); break; } } &nbsp; &nbsp; private&nbsp;void&nbsp;register(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { &nbsp;&nbsp;..........忽略代码 } &nbsp; &nbsp; /** &nbsp;* 用户登录 &nbsp;* @param&nbsp;req &nbsp;* @param&nbsp;resp &nbsp;* @throws&nbsp;IOException &nbsp;* @throws&nbsp;ServletException &nbsp;*/ private&nbsp;void&nbsp;login(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { System.out.println("-用户登录-"); String userAccount = req.getParameter("userAccount"); String userPassword = req.getParameter("userPassword"); UserService userService = new&nbsp;UserServiceImpl(); User user = new&nbsp;User(); user.setUserAccount(userAccount); user.setUserPassword(userPassword); try&nbsp;{ User resultUser = userService.login(user); if&nbsp;(resultUser != null) { HttpSession session = req.getSession(); session.setAttribute("user", resultUser); req.getRequestDispatcher("/WEB-INF/views/main.jsp").forward(req, resp); return; } else&nbsp;{ req.setAttribute("login_msg", "用户名或者密码不正确"); } } catch&nbsp;(SQLException e) { System.out.println("-登录失败-"); req.setAttribute("login_msg", "出现系统异常，请联系管理员"); e.printStackTrace(); } req.getRequestDispatcher("/user_login.jsp").forward(req, resp); } } </td> 
 </tr> 
 </tbody> 
</table>

#### 5.4.2.3. **用户注销** ####

\--编写主界面代码

\--修改UserServlet代码

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.web.servlet; &nbsp; import&nbsp;java.io.IOException; import&nbsp;java.sql.SQLException; &nbsp; import&nbsp;javax.servlet.ServletException; import&nbsp;javax.servlet.http.HttpServlet; import&nbsp;javax.servlet.http.HttpServletRequest; import&nbsp;javax.servlet.http.HttpServletResponse; import&nbsp;javax.servlet.http.HttpSession; import&nbsp;org.ranger.pojo.User; import&nbsp;org.ranger.service.UserService; import&nbsp;org.ranger.service.impl.UserServiceImpl; &nbsp; public&nbsp;class&nbsp;UserServlet extends&nbsp;HttpServlet { &nbsp; private&nbsp;static&nbsp;final&nbsp;long&nbsp;serialVersionUID&nbsp;= -6221395694585506253L; &nbsp; @Override public&nbsp;void&nbsp;service(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { &nbsp; String action&nbsp;= req.getParameter("action"); &nbsp; switch&nbsp;(action) { case&nbsp;"register": this.register(req, resp); break; case&nbsp;"login": this.login(req, resp); break; &nbsp; case&nbsp;"undo": this.undo(req, resp); break; default: System.out.println("-找不到调用的方法-"); req.setAttribute("login_msg", "找不到调用的方法"); req.getRequestDispatcher("/user_login.jsp").forward(req, resp); break; } &nbsp; } &nbsp; private&nbsp;void&nbsp;register(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { try&nbsp;{ // 1.获得表单参数 System.out.println("-用户注册-"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;.......忽略代码 &nbsp; &nbsp; &nbsp; } &nbsp; private&nbsp;void&nbsp;login(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { System.out.println("-用户登录-"); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;.......忽略代码 &nbsp; } &nbsp; /** &nbsp;* 用户注销 &nbsp;* @param&nbsp;req &nbsp;* @param&nbsp;resp &nbsp;* @throws&nbsp;IOException &nbsp;* @throws&nbsp;ServletException &nbsp;*/ private&nbsp;void&nbsp;undo(HttpServletRequest req, HttpServletResponse resp) throws&nbsp;ServletException, IOException { System.out.println("-用户注销-"); HttpSession session = req.getSession(); session.removeAttribute("user"); req.getRequestDispatcher("/user_login.jsp").forward(req, resp); } &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

### 5.4.3. **第三部分：网盘功能** ###

#### 5.4.3.1. **查看网盘** ####

**思路：**

\--连接获得HDFS连接操作对象

\--在注册的时候，就给用户创建一块专属文件夹，用其用户命名

\--将该该文件夹的所属者修改为该用户名

# 6. **MapReduce（分布式计算）** #

## 6.1. **MapReduce是什么** ##

MapReduce是Hadoop里面的分布式数据计算模块（框架）。通过MapReduce可以让数据处理在分布式的Linux计算后再聚合返回。

## 6.2. **MapReduce运行流程图** ##

如果所示：MapReduce分为Map和Reduce两部分。

Map部分就是分布式计算，demo.txt每一条数据，都会执行一次Map计算。

Reduce部分是分布汇总分组计算，必须在Map计算结束后，再分组汇总计算。

## 6.3. **入门示例** ##

### 6.3.1. **说明** ###

通过MapReduce程序实现，统计demo.txt 文本的单词统计。

demo.txt文本内容

<table> 
 <tbody> 
 <tr> 
 <td> hello world hello tom hello boy hello girl hello jim hello jack </td> 
 </tr> 
 </tbody> 
</table>

输出结果为：

<table> 
 <tbody> 
 <tr> 
 <td> boy 1 girl 1 hello 6 jack 1 jim 1 tom 1 world 1 </td> 
 </tr> 
 </tbody> 
</table>

### 6.3.2. **配置步骤** ###

#### 6.3.2.1. **第一步：搭建环境** ####

**--创建一个Java普通项目，导入Hadoop依赖的jar包**

** **

jar放在hadoop安装包的share/hadoop目录下，如图标红的文件夹的所有jar包复制到项目。

创建Java项目，并且创建一个存放MapReduce程序的包

**--创建一个demo.txt文件，并写好内容。再将文件上传对HDFS的目录中，如：/wc/deme.txt**

** **

创建一个demo.txt在当前linux用户个人目录

编辑demo.txt文件

上传文件到hdfs文件系统

#### 6.3.2.2. **第二步：编写一个WcMapper类** ####

Mapper类是一个规范，所以必须需要继承Mapper类

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.mapredure.wc; &nbsp; import&nbsp;java.io.IOException; &nbsp; import&nbsp;org.apache.hadoop.io.LongWritable; import&nbsp;org.apache.hadoop.io.Text; import&nbsp;org.apache.hadoop.mapreduce.Mapper; &nbsp; /** &nbsp;* 注意事项：Mapper类必须需要指定四个数据类型（KEYIN, VALUEIN, KEYOUT, VALUEOUT） &nbsp;* &nbsp;* KEYIN：传入Mapper数据key的类型，Hadoop传入一个数据偏移量作为key &nbsp;* VALUEIN：传入Mapper数据value的类型 &nbsp;* &nbsp;* KEYOUT：Mapper传出的key的类型 &nbsp;* VALUEOUT：Mapper传出的value的类型 &nbsp;* &nbsp;* 问题：为什么数据类型使用LongWritable, Text,而不是Long,String呢？ &nbsp;* 答：因为Java实行的数据类型，序列化会包含大量信息，Hadoop基于效率的原因重写了这些类型 &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;* 注意事项：不管传入传出，Mapper都是使用key-value的方式传递 &nbsp;* &nbsp;*/ public&nbsp;class&nbsp;WcMapper extends&nbsp;Mapper&lt;LongWritable, Text, Text, LongWritable&gt;{ &nbsp; /** &nbsp;* 每条数据计算，都执行一次！！ &nbsp;*/ @Override protected&nbsp;void&nbsp;map(LongWritable key, Text value, Mapper&lt;LongWritable, Text, Text, LongWritable&gt;.Context context) throws&nbsp;IOException, InterruptedException { //1.获得Hadoop传递过来的数据 String line&nbsp;= value.toString(); //2.分割数据 String[] fields&nbsp;= line.split(" "); &nbsp; //3.传出数据 for(String field:fields) { //&lt;字段名，1&gt; context.write(new&nbsp;Text(field), new&nbsp;LongWritable(1)); } &nbsp; } &nbsp; &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

#### 6.3.2.3. **第三步：编写一个WcReducer类** ####

#### 6.3.2.4. **第四步：编写一个WcRunner类** ####

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.mapredure.wc; &nbsp; import&nbsp;java.io.IOException; &nbsp; import&nbsp;org.apache.hadoop.conf.Configuration; import&nbsp;org.apache.hadoop.fs.Path; import&nbsp;org.apache.hadoop.io.LongWritable; import&nbsp;org.apache.hadoop.io.Text; import&nbsp;org.apache.hadoop.mapreduce.Job; import&nbsp;org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import&nbsp;org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; &nbsp; /** &nbsp;* 执行MapReduce程序的入口 &nbsp;* &nbsp;* 1.设置 &nbsp;* &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;*/ public&nbsp;class&nbsp;WcRunner { &nbsp; public&nbsp;static&nbsp;void&nbsp;main(String[] args) { &nbsp; try&nbsp;{ &nbsp; &nbsp; //1.创建一个job对象 Configuration conf=new&nbsp;Configuration(); Job job&nbsp;= Job.getInstance(conf); &nbsp; //设置入口的主类 job.setJarByClass(WcRunner.class); &nbsp; //设置job对应的Mapper和Reducer job.setMapperClass(WcMapper.class); job.setReducerClass(WcReducer.class); &nbsp; //设置Mapper的输出类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(LongWritable.class); &nbsp; //设置reduce的输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); &nbsp; //map设置数据的获得 FileInputFormat.setInputPaths(job, new&nbsp;Path("/wc/")); FileOutputFormat.setOutputPath(job, new&nbsp;Path("/output/")); &nbsp; //提交job job.waitForCompletion(true); &nbsp; &nbsp; &nbsp; } catch&nbsp;(IOException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } catch&nbsp;(ClassNotFoundException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } catch&nbsp;(InterruptedException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } } &nbsp; } &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

#### 6.3.2.5. **第五步：导出jar包** ####

注意：因为放在Hadoop里面运行，所以可以导jar包时，不用勾上lib。

#### 6.3.2.6. **上传jar文件** ####

将jar文件上传到任何一个Hadoop服务器上。放在Hadoop的MapReduce目录下

/home/hadoop/app/hadoop/share/hadoop/mapreduce

#### 6.3.2.7. **执行mapredurce程序** ####

执行格式：hadoop jar wc.jar 入口类全名

如：hadoop jar wc.jar  org.ranger.mapredure.wc.WcRunner

#### 6.3.2.8. **查看输出结果** ####

使用：hadoop fs -ls /output目录查看输出文件

在使用：hadoop fs -cat /output/part-r-00000查看数据结果

## 6.4. **MapRedurce 运行原理图** ##

1.  在运行hadoop jar wc.jar org.rangermareduce.WcRunner时，会产生一个RunJar的进程
2.  RunJar进程会向YARN的ResourceManager请求一个job。
3.  ResourceManager会将RunJar的Job放在队列中，并且返回相关资源的提交路径。
4.  RunJar根据返回的路径提交资源到HFDS文件系统。
5.  ResourceManger的队列执行到job任务，会首先让NodeManager领取任务。
6.  NodeManager领取资源后，会在创建一个资源容器。
7.  ResourceManager在其中一个NodeManager的资源容器创建一个MRAppMaster进程
8.  通过MRAPPMaster协调NodeManager执行mapper任务
9.  在mapper任务结束后，MRAppMaster再协调NodeManager执行Reduce任务
10. 在所有任务结束后，MRAppMaster向ResourceManager申请注销自己

## 6.5. **本地模式** ##

如果，程序调试都是放在Hadoop上面执行，会大大降低开发的效率。MapReduce支持本地模式。

所谓的本地模式，就是在本机测试，不需要放在Hadoop上面，MapReduce也可以运行。

注意事项：必须使用64位的JDK。否则会报错。

### 6.5.1. **第一步：配置Hadoop的环境变量** ###

**--将hadoop-2.9.1.tar.gz解压到D:\\java\\hadoop-2.9.1**

**--配置环境变量**

HADOOP\_HOME=D:\\java\\hadoop-2.9.1

PATH=%HADOOP\_HOME%\\bin

**--测试环境变量是否成功**

在cmd下使用set命令查看环境变量

### 6.5.2. **第二步：需要winutils.exe支持** ###

**--下载winutils.exe路径**

** **

[https://github.com/steveloughran/winutils/releases][https_github.com_steveloughran_winutils_releases]

**--解压将所有文件复制到hadoop的bin目录**

### 6.5.3. **第三步：将demo.txt放在本地目录** ###

### 6.5.4. **第四步：修改WcRunner** ###

修改WcRunner的输入输出路径为本地路径

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;org.ranger.mapredure.wc; import&nbsp;java.io.IOException; import&nbsp;org.apache.hadoop.conf.Configuration; import&nbsp;org.apache.hadoop.fs.Path; import&nbsp;org.apache.hadoop.io.LongWritable; import&nbsp;org.apache.hadoop.io.Text; import&nbsp;org.apache.hadoop.mapreduce.Job; import&nbsp;org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import&nbsp;org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; &nbsp; /** &nbsp;* WcRunner 执行MapReduce程序的入口 &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;*/ public&nbsp;class&nbsp;WcRunner { public&nbsp;static&nbsp;void&nbsp;main(String[] args) { try&nbsp;{ //1.创建一个job对象 Configuration conf=new&nbsp;Configuration(); Job job&nbsp;= Job.getInstance(conf) //设置入口的主类 job.setJarByClass(WcRunner.class); //设置job对应的Mapper和Reducer job.setMapperClass(WcMapper.class); job.setReducerClass(WcReducer.class); //设置Mapper的输出类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(LongWritable.class); //设置reduce的输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); //map设置数据的获得 FileInputFormat.setInputPaths(job, new&nbsp;Path("c:/wc/input/")); FileOutputFormat.setOutputPath(job, new&nbsp;Path("c:/wc/output/")); //提交job job.waitForCompletion(true); } catch&nbsp;(IOException e) { e.printStackTrace(); } catch&nbsp;(ClassNotFoundException e) { e.printStackTrace(); } catch&nbsp;(InterruptedException e) { e.printStackTrace(); } } } </td> 
 </tr> 
 </tbody> 
</table>

### 6.5.5. **第五步：直接运行WcRunner类** ###

### 6.5.6. **第六步：查看测试结果** ###

# 7. **日志清洗\-案例** #

所谓的日志清洗，就是在杂乱日志里面，提取拥有的信息，在进行数据分析。

需求：分析网站时间段的访问量。

<table> 
 <tbody> 
 <tr> 
 <td> package&nbsp;cn.gzsxt.mapreduces; &nbsp; import&nbsp;java.io.IOException; import&nbsp;java.text.ParseException; import&nbsp;java.text.SimpleDateFormat; import&nbsp;java.util.Calendar; import&nbsp;java.util.Date; import&nbsp;java.util.Locale; &nbsp; import&nbsp;org.apache.hadoop.io.LongWritable; import&nbsp;org.apache.hadoop.io.Text; import&nbsp;org.apache.hadoop.mapreduce.Mapper; import&nbsp;org.apache.hadoop.mapreduce.Reducer; &nbsp; /** &nbsp;* 问题：为什么使用内部类将Map计算和Reduce计算放在一起 答：这样可以快速找到Map对应的Reduce 问题：为什么使用静态内部类，而不内部类。 &nbsp;* 答：原因是希望可以直接使用LogMapReducer类就可以访问。不需要创建LogMapReducer对象 &nbsp;* &nbsp;* 需求：分析网站访问时间段的访问量。 &nbsp;* &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;*/ public&nbsp;class&nbsp;LogMapReducer { &nbsp; /** &nbsp;* map 计算，获得每一条是数据的时间 &nbsp;* &nbsp;* @author&nbsp;ranger &nbsp;* &nbsp;*/ static&nbsp;class&nbsp;LogMapper extends&nbsp;Mapper&lt;LongWritable, Text, Text, LongWritable&gt; { &nbsp; @Override protected&nbsp;void&nbsp;map(LongWritable key, Text value, Mapper&lt;LongWritable, Text, Text, LongWritable&gt;.Context context) throws&nbsp;IOException, InterruptedException { String line&nbsp;= value.toString(); // 127.0.0.1 - - [03/Nov/2017:08:58:42 +0800] "GET / HTTP/1.1" 200 11418 // 需要的值在第四个里面 &nbsp; String[] values&nbsp;= line.split(" "); String datestr&nbsp;= values[3]; // 时间处理,[03/Nov/2017:08:58:42 // 第一步：去掉[ StringBuilder sb&nbsp;= new&nbsp;StringBuilder(datestr); String resultDate&nbsp;= sb.substring(1); // 日期的转换，注意这个是美国时间，需要设置为US SimpleDateFormat format&nbsp;= new&nbsp;SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss",Locale.US); &nbsp; Date date; try&nbsp;{ date&nbsp;= format.parse(resultDate); // 如何获得日期里面的一个单位， Calendar calendar&nbsp;= Calendar.getInstance(); calendar.setTime(date); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//获得24小时制的时间 int&nbsp;hour&nbsp;= calendar.get(Calendar.HOUR_OF_DAY); &nbsp; System.out.println(datestr&nbsp;+ "====时间字符串"); context.write(new&nbsp;Text(hour&nbsp;+ ""), new&nbsp;LongWritable(1)); &nbsp; } catch&nbsp;(ParseException e) { // TODO&nbsp;Auto-generated catch block e.printStackTrace(); } &nbsp; } &nbsp; } &nbsp; // 01 123123 static&nbsp;class&nbsp;LogReducer extends&nbsp;Reducer&lt;Text, LongWritable, Text, LongWritable&gt; { &nbsp; @Override protected&nbsp;void&nbsp;reduce(Text key, Iterable&lt;LongWritable&gt; values, Reducer&lt;Text, LongWritable, Text, LongWritable&gt;.Context context) throws&nbsp;IOException, InterruptedException { long&nbsp;count&nbsp;= 0; for&nbsp;(LongWritable val&nbsp;: values) { // 每次迭代加1 count&nbsp;= count&nbsp;+ val.get(); } context.write(key, new&nbsp;LongWritable(count)); &nbsp; } &nbsp; } &nbsp; } </td> 
 </tr> 
 </tbody> 
</table>

# 8. **HA集群部署Hadoop** #

## 8.1. **HA集群是什么** ##

HA是High Available缩写，是双机集群系统简称，是一个高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。

工作后会经常听到“双机热备”这个词。表达的是同一意思。

\--来自百度百科

## 8.2. **高可用****是什么** ##

“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。

\--来自百度百科

## 8.3. **为什么需要使用HA集群** ##

上面的集群部署是我们发现只有NameNode节点，万一NameNode节点宕机，集群也崩溃了。

我们发现ResourceManager节点也只有一个，万一ResourceManager节点宕机，集群也崩溃。

所以我们需要通过HA的机制来部署NameNode节点以及ResourceManger来确保集群的容错性、可用行。

\--如图：通过HA集群，可以实现NameNode和ResourceManager的双机热备，在一台NameNode或者ResourceManager崩溃后，另外一台可以直接切换。

## 8.4. **部署步骤** ##

### 8.4.1. **需求说明** ###

需求：部署一个HA的Hadoop集群。

1.  使用服务u1~u7。共七台服务器
2.  u1、u2用于作为NameNode的HA集群、以及部署zkfc
3.  u3、u4用于作为ResourceManager的HA集群
4.  u5、u6、u7分别用于DadeNode、NodeManager、Zookeeper（HA集群）

如图所示：

### 8.4.2. **部署思路** ###

1.  首先部署好无HA机制的集群
2.  再配置NameNode的HA集群
3.  最后ResourceManager的HA集群

### 8.4.3. **第一部分：HA机制的集群配置** ###

u1~u7的准备，统一配置。<参考单机部署与集群部署章节>

注意：只要在u1和u3配置slaves就可以。

1.  u1的slaves配置文件，用于指定u1、u2为NamNode，其中u1为NameNode的主机。
2.  u2为NameNode备机，u3的slaves配置文件用于指定u3、u4为ResourceManager，其中u3为ResourceManager主机，u4为ResourceManager备机。
3.  u5~u7配置为DataNode和NodeManager。

### 8.4.4. **第二部分：配置Zookeeper集群** ###

<参考Zookeeper章节>

### 8.4.5. **第三步部分：配置NameNode的HA集群** ###

#### 8.4.5.1. **说明** ####

配置NameNode的HA集群，就是配置NameNode的双机热备。

1.  通过zkfc2实时监控Zookeeper集群NN1的状态。发现主机出现异常，备机立刻切换
2.  在切换备机之前，会先发送一次shell杀NN1的NameNode进程
3.  通过JuornalNode集群来实时保持两台服务器的操作日志的一致性
4.  配置HA集群后，备机直接替代SecondaryNameNode的功能，所以没有SecondaryNameNode了

1.  因为HA集群的两台机器，所以使用RPC来同步fsimage元数据文件的

**--基于以上描述的流程，NameNode必须配置一下参数**

（1）必须指定Zookeeper服务器

（2）必须指定两台NameNode的服务器名称

（3）必须指定使用的是HA策略

（4）必须指定Journal节点位置

（5）必须配置zkfc发送shell的杀机进程的ssh登录信息

（6）必须配置rpc入口，实现元数据的同步

\--因为NameNode是HDFS文件系统的配置，所以可以配置的配置文件使用两个

（1）core-site.xml

（2）hdfs-site.xml

#### 8.4.5.2. **配置步骤** ####

##### 8.4.5.2.1. **第一步：配置core-site.xml配置文件** #####

\--在core-site.xml配置zookeeper服务器访问路径

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp;&lt;!-1.指定默认的HDFS操作路径--&gt; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;fs.defaultFS&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;hdfs://ns&lt;/value&gt; &nbsp;&lt;/property&gt; &nbsp;&lt;!--2.设置数据的存放位置--&gt; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;hadoop.tmp.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;/home/hadoop/app/hadoop-2.9.1/data/&lt;/value&gt; &nbsp;&lt;/property&gt; &lt;!--3.设置Zookeeper集群的访问路径--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&lt;name&gt;ha.zookeeper.quorum&lt;/name&gt; &nbsp;&nbsp;&nbsp;&lt;value&gt;u5:2181,u6:2181,u7:2181&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;&nbsp; &nbsp; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

问题：为什么Zookeeper配置core-site.xml里面呢？

答：因为Zookeeper不仅仅在NameNode里面用，可以在Hadoop其他很多地方用到，所以配置在hadoop核心文件里面

##### 8.4.5.2.2. **第二步：配置dhfs-site.xml配置文件** #####

<table> 
 <tbody> 
 <tr> 
 <td> &lt;configuration&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;!--1.设置数据副本的个数--&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.replication&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;3&lt;/value&gt; &lt;/property&gt; &lt;!--设置默认使用ha集群---&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.ha.automatic-failover.enabled&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;true&lt;/value&gt; &nbsp;&nbsp;&nbsp;&lt;/property&gt; &nbsp; &lt;!--设置HA的HDFS的访问服务名--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.nameservices&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;ns&lt;/value&gt; &lt;/property&gt; &lt;!--设置访问服务名，对应的NameNode--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.ha.namenodes.ns&lt;/name&gt; &lt;value&gt;nn1,nn2&lt;/value&gt; &lt;!--配置rpc通讯访问路径--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.namenode.rpc-address.ns.nn1&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;u1:8020&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.namenode.rpc-address.ns.nn2&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;u2:8020&lt;/value&gt; &lt;/property&gt; &lt;!--配置https通讯访问路径--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.namenode.http-address.sn.nn1&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;u1:50070&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.namenode.http-address.sn.nn2&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;u1:50070&lt;/value&gt; &lt;/property&gt; &lt;!--配置qjouranl的节点路径--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.namenode.shared.edits.dir&lt;/name&gt; &lt;value&gt;qjournal://u5:8485;u6:8485;u7:8485/sn&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;!--配置qjouranl的节点数据存放路径--&gt; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.journalnode.edits.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;/home/hadoop/app/hadoop-2.9.1/data/&lt;/value&gt; &lt;/property&gt; &nbsp; &lt;!--配置客户端 访问NameNode的HA的入口类--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.client.failover.proxy.provider.mycluster&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider&lt;/value&gt; &lt;/property&gt; &lt;!--设置zkfc远程杀死进程配置，使用ssh登录--&gt; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.ha.fencing.methods&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;sshfence&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt; &lt;!--设置zkfc远程杀死进程配置，指定登录的公钥--&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.ha.fencing.ssh.private-key-files&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;/home/hadoop/.ssh/id_rsa&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt; &lt;/property&gt; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

### 8.4.6. **第四部分：配置ResourceManger的HA集群** ###

#### 8.4.6.1. **运行流程图** ####

# 9. **附录A 配置文件参数** #

## 9.1. **core-default.xml** ##

<table> 
 <tbody> 
 <tr> 
 <td> 序号 </td> 
 <td> 参数名 </td> 
 <td> 参数值 </td> 
 <td> 参数说明 </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> hadoop.tmp.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> /tmp/hadoop-${user.name} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据目录设置 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> hadoop.native.lib &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 使用本地hadoop库标识。 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> hadoop.http.filter.initializers &nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> http服务器过滤链设置 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> hadoop.security.group.mapping &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.security.ShellBasedUnixGroupsMapping </td> 
 <td> 组内用户的列表的类设定 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> hadoop.security.authorization &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 服务端认证开启 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> hadoop.security.authentication &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> simple &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 无认证或认证设置 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> hadoop.security.token.service.use_ip </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 是否开启使用IP地址作为连接的开关 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> hadoop.logfile.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10000000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 日志文件最大为10M </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> hadoop.logfile.count </td> 
 <td> 10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 日志文件数量为10个 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> io.file.buffer.size </td> 
 <td> 4096 </td> 
 <td> 流文件的缓冲区为4K </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> io.bytes.per.checksum </td> 
 <td> 512 </td> 
 <td> 校验位数为512字节 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> io.skip.checksum.errors </td> 
 <td> FALSE </td> 
 <td> 校验出错后是抛出异常还是略过标识。True则略过。 </td> 
 </tr> 
 <tr> 
 <td> 13 </td> 
 <td> io.compression.codecs </td> 
 <td> org.apache.hadoop.io.compress.DefaultCodec, </td> 
 <td> 压缩和解压的方式设置 </td> 
 </tr> 
 <tr> 
 <td> org.apache.hadoop.io.compress.GzipCodec, </td> 
 </tr> 
 <tr> 
 <td> org.apache.hadoop.io.compress.BZip2Codec, </td> 
 </tr> 
 <tr> 
 <td> org.apache.hadoop.io.compress.SnappyCodec </td> 
 </tr> 
 <tr> 
 <td> 14 </td> 
 <td> io.serializations </td> 
 <td> org.apache.hadoop.io.serializer.WritableSerialization </td> 
 <td> 序例化和反序列化的类设定 </td> 
 </tr> 
 <tr> 
 <td> 15 </td> 
 <td> fs.default.name </td> 
 <td> file:/// &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 缺省的文件系统URI标识设定。 </td> 
 </tr> 
 <tr> 
 <td> 16 </td> 
 <td> fs.trash.interval </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 文件废弃标识设定，0为禁止此功能 </td> 
 </tr> 
 <tr> 
 <td> 17 </td> 
 <td> fs.file.impl </td> 
 <td> org.apache.hadoop.fs.LocalFileSystem &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 本地文件操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 18 </td> 
 <td> fs.hdfs.impl </td> 
 <td> org.apache.hadoop.hdfs.DistributedFileSystem &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> HDFS文件操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 19 </td> 
 <td> fs.s3.impl </td> 
 <td> org.apache.hadoop.fs.s3.S3FileSystem &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> S3文件操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td> fs.s3n.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.fs.s3native.NativeS3FileSystem </td> 
 <td> S3文件本地操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 21 </td> 
 <td> fs.kfs.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.fs.kfs.KosmosFileSystem </td> 
 <td> KFS文件操作类设置. </td> 
 </tr> 
 <tr> 
 <td> 22 </td> 
 <td> fs.hftp.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.hdfs.HftpFileSystem </td> 
 <td> HTTP方式操作文件设置 </td> 
 </tr> 
 <tr> 
 <td> 23 </td> 
 <td> fs.hsftp.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.hdfs.HsftpFileSystem </td> 
 <td> HTTPS方式操作文件设置 </td> 
 </tr> 
 <tr> 
 <td> 24 </td> 
 <td> fs.webhdfs.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.hdfs.web.WebHdfsFileSystem </td> 
 <td> WEB方式操作文件类设置 </td> 
 </tr> 
 <tr> 
 <td> 25 </td> 
 <td> fs.ftp.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.fs.ftp.FTPFileSystem </td> 
 <td> FTP文件操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 26 </td> 
 <td> fs.ramfs.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.fs.InMemoryFileSystem </td> 
 <td> 内存文件操作类设置 </td> 
 </tr> 
 <tr> 
 <td> 27 </td> 
 <td> fs.har.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.fs.HarFileSystem </td> 
 <td> 压缩文件操作类设置. </td> 
 </tr> 
 <tr> 
 <td> 28 </td> 
 <td> fs.har.impl.disable.cache </td> 
 <td> TRUE </td> 
 <td> 是否缓存har文件的标识设定 </td> 
 </tr> 
 <tr> 
 <td> 29 </td> 
 <td> fs.checkpoint.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/dfs/namesecondary </td> 
 <td> 备份名称节点的存放目前录设置 </td> 
 </tr> 
 <tr> 
 <td> 30 </td> 
 <td> fs.checkpoint.edits.dir &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${fs.checkpoint.dir} </td> 
 <td> 备份名称节点日志文件的存放目前录设置 </td> 
 </tr> 
 <tr> 
 <td> 31 </td> 
 <td> fs.checkpoint.period &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3600 </td> 
 <td> 动态检查的间隔时间设置 </td> 
 </tr> 
 <tr> 
 <td> 32 </td> 
 <td> fs.checkpoint.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 67108864 </td> 
 <td> 日志文件大小为64M </td> 
 </tr> 
 <tr> 
 <td> 33 </td> 
 <td> fs.s3.block.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 67108864 </td> 
 <td> 写S3文件系统的块的大小为64M </td> 
 </tr> 
 <tr> 
 <td> 34 </td> 
 <td> fs.s3.buffer.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/s3 </td> 
 <td> S3文件数据的本地存放目录 </td> 
 </tr> 
 <tr> 
 <td> 35 </td> 
 <td> fs.s3.maxRetries &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 4 </td> 
 <td> S3文件数据的偿试读写次数 </td> 
 </tr> 
 <tr> 
 <td> 36 </td> 
 <td> fs.s3.sleepTimeSeconds &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10 </td> 
 <td> S3文件偿试的间隔 </td> 
 </tr> 
 <tr> 
 <td> 37 </td> 
 <td> local.cache.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10737418240 </td> 
 <td> 缓存大小设置为10GB </td> 
 </tr> 
 <tr> 
 <td> 38 </td> 
 <td> io.seqfile.compress.blocksize </td> 
 <td> 1000000 </td> 
 <td> 压缩流式文件中的最小块数为100万 </td> 
 </tr> 
 <tr> 
 <td> 39 </td> 
 <td> io.seqfile.lazydecompress &nbsp;&nbsp; </td> 
 <td> TRUE </td> 
 <td> 块是否需要压缩标识设定 </td> 
 </tr> 
 <tr> 
 <td> 40 </td> 
 <td> io.seqfile.sorter.recordlimit </td> 
 <td> 1000000 </td> 
 <td> 内存中排序记录块类最小为100万 </td> 
 </tr> 
 <tr> 
 <td> 41 </td> 
 <td> io.mapfile.bloom.size </td> 
 <td> 1048576 </td> 
 <td> BloomMapFiler过滤量为1M </td> 
 </tr> 
 <tr> 
 <td> 42 </td> 
 <td> io.mapfile.bloom.error.rate </td> 
 <td> 0.005 </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 43 </td> 
 <td> hadoop.util.hash.type </td> 
 <td> murmur </td> 
 <td> 缺少hash方法为murmur </td> 
 </tr> 
 <tr> 
 <td> 44 </td> 
 <td> ipc.client.idlethreshold </td> 
 <td> 4000 </td> 
 <td> 连接数据最小阀值为4000 </td> 
 </tr> 
 <tr> 
 <td> 45 </td> 
 <td> ipc.client.kill.max </td> 
 <td> 10 </td> 
 <td> 一个客户端连接数最大值为10 </td> 
 </tr> 
 <tr> 
 <td> 46 </td> 
 <td> ipc.client.connection.maxidletime </td> 
 <td> 10000 </td> 
 <td> 断开与服务器连接的时间最大为10秒 </td> 
 </tr> 
 <tr> 
 <td> 47 </td> 
 <td> ipc.client.connect.max.retries </td> 
 <td> 10 </td> 
 <td> 建立与服务器连接的重试次数为10次 </td> 
 </tr> 
 <tr> 
 <td> 48 </td> 
 <td> ipc.server.listen.queue.size </td> 
 <td> 128 </td> 
 <td> 接收客户连接的监听队例的长度为128 </td> 
 </tr> 
 <tr> 
 <td> 49 </td> 
 <td> ipc.server.tcpnodelay </td> 
 <td> FALSE </td> 
 <td> 开启或关闭服务器端TCP连接算法 </td> 
 </tr> 
 <tr> 
 <td> 50 </td> 
 <td> ipc.client.tcpnodelay </td> 
 <td> FALSE </td> 
 <td> 开启或关闭客户端TCP连接算法 </td> 
 </tr> 
 <tr> 
 <td> 51 </td> 
 <td> webinterface.private.actions </td> 
 <td> FALSE </td> 
 <td> Web交互的行为设定 </td> 
 </tr> 
 <tr> 
 <td> 52 </td> 
 <td> hadoop.rpc.socket.factory.class.default &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.net.StandardSocketFactory </td> 
 <td> 缺省的socket工厂类设置 </td> 
 </tr> 
 <tr> 
 <td> 53 </td> 
 <td> hadoop.rpc.socket.factory.class.ClientProtocol </td> 
 <td> &nbsp; </td> 
 <td> 与dfs连接时的缺省socket工厂类 </td> 
 </tr> 
 <tr> 
 <td> 54 </td> 
 <td> hadoop.socks.server &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 <td> 服务端的工厂类缺省设置为SocksSocketFactory. </td> 
 </tr> 
 <tr> 
 <td> 55 </td> 
 <td> topology.node.switch.mapping.impl &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.net.ScriptBasedMapping </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 56 </td> 
 <td> topology.script.file.name &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 57 </td> 
 <td> topology.script.number.args &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 100 </td> 
 <td> 参数数量最多为100 </td> 
 </tr> 
 <tr> 
 <td> 58 </td> 
 <td> hadoop.security.uid.cache.secs &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 14400 </td> 
 <td> &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

## 9.2. **hdfs-default.xml** ##

<table> 
 <tbody> 
 <tr> 
 <td> 序号 </td> 
 <td> 参数名 </td> 
 <td> 参数值 </td> 
 <td> 参数说明 </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> dfs.namenode.logging.level &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> info &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 输出日志类型 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> dfs.secondary.http.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50090 </td> 
 <td> 备份名称节点的http协议访问地址与端口 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> dfs.datanode.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50010 </td> 
 <td> 数据节点的TCP管理服务地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> dfs.datanode.http.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50075 </td> 
 <td> 数据节点的HTTP协议访问地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> dfs.datanode.ipc.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50020 </td> 
 <td> 数据节点的IPC服务访问地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> dfs.datanode.handler.count &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据节点的服务连接处理线程数 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> dfs.http.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50070 </td> 
 <td> 名称节点的http协议访问地址与端口 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> dfs.https.enable &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 支持https访问方式标识 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> dfs.https.need.client.auth &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 客户端指定https访问标识 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> dfs.https.server.keystore.resource </td> 
 <td> ssl-server.xml </td> 
 <td> Ssl密钥服务端的配置文件 </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> dfs.https.client.keystore.resource </td> 
 <td> ssl-client.xml </td> 
 <td> Ssl密钥客户端的配置文件 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> dfs.datanode.https.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50475 </td> 
 <td> 数据节点的HTTPS协议访问地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 13 </td> 
 <td> dfs.https.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0.0.0:50470 </td> 
 <td> 名称节点的HTTPS协议访问地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 14 </td> 
 <td> dfs.datanode.dns.interface &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> default &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据节点采用IP地址标识 </td> 
 </tr> 
 <tr> 
 <td> 15 </td> 
 <td> dfs.datanode.dns.nameserver &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> default &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 指定DNS的IP地址 </td> 
 </tr> 
 <tr> 
 <td> 16 </td> 
 <td> dfs.replication.considerLoad &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 加载目标或不加载的标识 </td> 
 </tr> 
 <tr> 
 <td> 17 </td> 
 <td> dfs.default.chunk.view.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 32768 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 浏览时的文件块大小设置为32K </td> 
 </tr> 
 <tr> 
 <td> 18 </td> 
 <td> dfs.datanode.du.reserved &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每个卷预留的空闲空间数量 </td> 
 </tr> 
 <tr> 
 <td> 19 </td> 
 <td> dfs.name.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/dfs/name </td> 
 <td> 存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 </td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td> dfs.name.edits.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${dfs.name.dir} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 存贮文件操作过程信息的存贮目录 </td> 
 </tr> 
 <tr> 
 <td> 21 </td> 
 <td> dfs.web.ugi &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> webuser,webgroup &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Web接口访问的用户名和组的帐户设定 </td> 
 </tr> 
 <tr> 
 <td> 22 </td> 
 <td> dfs.permissions &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 文件操作时的权限检查标识。 </td> 
 </tr> 
 <tr> 
 <td> 23 </td> 
 <td> dfs.permissions.supergroup &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> supergroup &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 超级用户的组名定义 </td> 
 </tr> 
 <tr> 
 <td> 24 </td> 
 <td> dfs.block.access.token.enable &nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据节点访问令牌标识 </td> 
 </tr> 
 <tr> 
 <td> 25 </td> 
 <td> dfs.block.access.key.update.interval </td> 
 <td> 600 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 升级访问钥时的间隔时间 </td> 
 </tr> 
 <tr> 
 <td> 26 </td> 
 <td> dfs.block.access.token.lifetime &nbsp;&nbsp;&nbsp; </td> 
 <td> 600 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 访问令牌的有效时间 </td> 
 </tr> 
 <tr> 
 <td> 27 </td> 
 <td> dfs.data.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/dfs/data </td> 
 <td> 数据节点的块本地存放目录 </td> 
 </tr> 
 <tr> 
 <td> 28 </td> 
 <td> dfs.datanode.data.dir.perm &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 755 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据节点的存贮块的目录访问权限设置 </td> 
 </tr> 
 <tr> 
 <td> 29 </td> 
 <td> dfs.replication &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 缺省的数据块副本的数量 </td> 
 </tr> 
 <tr> 
 <td> 30 </td> 
 <td> dfs.replication.max &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 512 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 块复制的最大数量 </td> 
 </tr> 
 <tr> 
 <td> 31 </td> 
 <td> dfs.replication.min &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 块复制的最小数量 </td> 
 </tr> 
 <tr> 
 <td> 32 </td> 
 <td> dfs.block.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 67108864 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 缺省的文件块大小为64M </td> 
 </tr> 
 <tr> 
 <td> 33 </td> 
 <td> dfs.df.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 60000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 磁盘空间统计间隔为6秒 </td> 
 </tr> 
 <tr> 
 <td> 34 </td> 
 <td> dfs.client.block.write.retries &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 块写入出错时的重试次数 </td> 
 </tr> 
 <tr> 
 <td> 35 </td> 
 <td> dfs.blockreport.intervalMsec &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3600000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 块的报告间隔时为1小时 </td> 
 </tr> 
 <tr> 
 <td> 36 </td> 
 <td> dfs.blockreport.initialDelay &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 块顺序报告的间隔时间 </td> 
 </tr> 
 <tr> 
 <td> 37 </td> 
 <td> dfs.heartbeat.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 数据节点的心跳检测间隔时间 </td> 
 </tr> 
 <tr> 
 <td> 38 </td> 
 <td> dfs.namenode.handler.count &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 名称节点的连接处理的线程数量 </td> 
 </tr> 
 <tr> 
 <td> 39 </td> 
 <td> dfs.safemode.threshold.pct &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.999f &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 启动安全模式的阀值设定 </td> 
 </tr> 
 <tr> 
 <td> 40 </td> 
 <td> dfs.safemode.extension &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 30000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 当阀值达到量值后扩展的时限 </td> 
 </tr> 
 <tr> 
 <td> 41 </td> 
 <td> dfs.balance.bandwidthPerSec &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1048576 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 启动负载均衡的数据节点可利用带宽最大值为1M </td> 
 </tr> 
 <tr> 
 <td> 42 </td> 
 <td> dfs.hosts &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 <td> 可与名称节点连接的主机地址文件指定。 </td> 
 </tr> 
 <tr> 
 <td> 43 </td> 
 <td> dfs.hosts.exclude &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 <td> 不充计与名称节点连接的主机地址文件设定 </td> 
 </tr> 
 <tr> 
 <td> 44 </td> 
 <td> dfs.max.objects &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 </td> 
 <td> 文件数、目录数、块数的最大数量 </td> 
 </tr> 
 <tr> 
 <td> 45 </td> 
 <td> dfs.namenode.decommission.interval </td> 
 <td> 30 </td> 
 <td> 名称节点解除命令执行时的监测时间周期 </td> 
 </tr> 
 <tr> 
 <td> 46 </td> 
 <td> dfs.namenode.decommission.nodes.per.interval </td> 
 <td> 5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 名称节点解除命令执行是否完检测次数 </td> 
 </tr> 
 <tr> 
 <td> 47 </td> 
 <td> dfs.replication.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 名称节点计算数据节点的复制工作的周期数. </td> 
 </tr> 
 <tr> 
 <td> 48 </td> 
 <td> dfs.access.time.precision &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3600000 </td> 
 <td> 充许访问文件的时间精确到1小时 </td> 
 </tr> 
 <tr> 
 <td> 49 </td> 
 <td> dfs.support.append &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp; </td> 
 <td> 是否充许链接文件指定 </td> 
 </tr> 
 <tr> 
 <td> 50 </td> 
 <td> dfs.namenode.delegation.key.update-interval </td> 
 <td> 86400000 </td> 
 <td> 名称节点上的代理令牌的主key的更新间隔时间为24小时 </td> 
 </tr> 
 <tr> 
 <td> 51 </td> 
 <td> dfs.namenode.delegation.token.max-lifetime </td> 
 <td> 604800000 </td> 
 <td> 代理令牌的有效时间最大值为7天 </td> 
 </tr> 
 <tr> 
 <td> 52 </td> 
 <td> dfs.namenode.delegation.token.renew-interval </td> 
 <td> 86400000 </td> 
 <td> 代理令牌的更新时间为24小时 </td> 
 </tr> 
 <tr> 
 <td> 53 </td> 
 <td> dfs.datanode.failed.volumes.tolerated &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点 </td> 
 </tr> 
 </tbody> 
</table>

## 9.3. **mapred-default.xml** ##

<table> 
 <tbody> 
 <tr> 
 <td> 序号 </td> 
 <td> 参数名 </td> 
 <td> 参数值 </td> 
 <td> 参数说明 </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> hadoop.job.history.location </td> 
 <td> &nbsp; </td> 
 <td> 作业跟踪管理器的静态历史文件的存放目录。 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> hadoop.job.history.user.location </td> 
 <td> &nbsp; </td> 
 <td> 可以指定具体某个作业的跟踪管理器的历史文件存放目录 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> mapred.job.tracker.history.completed.location </td> 
 <td> &nbsp; </td> 
 <td> 已完成作业的历史文件的存放目录 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> io.sort.factor </td> 
 <td> &nbsp;10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 排完序的文件的合并时的打开文件句柄数 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> io.sort.mb </td> 
 <td> &nbsp;100 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 排序文件的内存缓存大小为100M </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> io.sort.record.percent </td> 
 <td> &nbsp;0.05 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 排序线程阻塞的内存缓存剩余比率 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> io.sort.spill.percent </td> 
 <td> &nbsp;0.80 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 当缓冲占用量为该值时，线程需要将内容先备份到磁盘中。 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> io.map.index.skip </td> 
 <td> &nbsp;0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 索引条目的间隔设定 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> mapred.job.tracker </td> 
 <td> &nbsp;local &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业跟踪管理器是否和MR任务在一个进程中 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> mapred.job.tracker.http.address </td> 
 <td> 0.0.0.0:50030 </td> 
 <td> 作业跟踪管理器的HTTP服务器访问端口和地址 </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> mapred.job.tracker.handler.count &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业跟踪管理器的管理线程数,线程数比例是任务管理跟踪器数量的0.04 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> mapred.task.tracker.report.address &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 127.0.0.1:0 </td> 
 <td> 任务管理跟踪器的主机地址和端口地址 </td> 
 </tr> 
 <tr> 
 <td> 13 </td> 
 <td> mapred.local.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/mapred/local </td> 
 <td> MR的中介数据文件存放目录 </td> 
 </tr> 
 <tr> 
 <td> 14 </td> 
 <td> mapred.system.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/mapred/system </td> 
 <td> MR的控制文件存放目录 </td> 
 </tr> 
 <tr> 
 <td> 15 </td> 
 <td> mapreduce.jobtracker.staging.root.dir &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/mapred/staging </td> 
 <td> 每个正在运行作业文件的存放区 </td> 
 </tr> 
 <tr> 
 <td> 16 </td> 
 <td> mapred.temp.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> ${hadoop.tmp.dir}/mapred/temp &nbsp; </td> 
 <td> MR临时共享文件存放区 &nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 17 </td> 
 <td> mapred.local.dir.minspacestart &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> MR本地中介文件删除时，不充许有任务执行的数量值。 </td> 
 </tr> 
 <tr> 
 <td> 18 </td> 
 <td> mapred.local.dir.minspacekill &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> MR本地中介文件删除时，除非所有任务都已完成的数量值。 </td> 
 </tr> 
 <tr> 
 <td> 19 </td> 
 <td> mapred.tasktracker.expiry.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 600000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器不发送心跳的累计时间间隔超过600秒，则任务管理跟踪器失效 </td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td> mapred.tasktracker.resourcecalculatorplugin </td> 
 <td> &nbsp; </td> 
 <td> 指定的一个用户访问资源信息的类实例 </td> 
 </tr> 
 <tr> 
 <td> 21 </td> 
 <td> mapred.tasktracker.taskmemorymanager.monitoring-interval </td> 
 <td> 5000 &nbsp;&nbsp; </td> 
 <td> 监控任务管理跟踪器任务内存使用率的时间间隔 </td> 
 </tr> 
 <tr> 
 <td> 22 </td> 
 <td> mapred.tasktracker.tasks.sleeptime-before-sigkill &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 5000 &nbsp;&nbsp; </td> 
 <td> 发出进程终止后，间隔5秒后发出进程消亡信号 </td> 
 </tr> 
 <tr> 
 <td> 23 </td> 
 <td> mapred.map.tasks &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 2 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每个作业缺省的map任务数为2 </td> 
 </tr> 
 <tr> 
 <td> 24 </td> 
 <td> mapred.reduce.tasks &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每个作业缺省的reduce任务数为1 </td> 
 </tr> 
 <tr> 
 <td> 25 </td> 
 <td> mapreduce.tasktracker.outofband.heartbeat &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp; </td> 
 <td> 让在任务结束后发出一个额外的心跳信号 </td> 
 </tr> 
 <tr> 
 <td> 26 </td> 
 <td> mapreduce.tasktracker.outofband.heartbeat.damper &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1000000 </td> 
 <td> 当额外心跳信号发出量太多时，则适当阻止 </td> 
 </tr> 
 <tr> 
 <td> 27 </td> 
 <td> mapred.jobtracker.restart.recover &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp; </td> 
 <td> 充许任务管理器恢复时采用的方式 </td> 
 </tr> 
 <tr> 
 <td> 28 </td> 
 <td> mapred.jobtracker.job.history.block.size &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 3145728 </td> 
 <td> 作业历史文件块的大小为3M </td> 
 </tr> 
 <tr> 
 <td> 29 </td> 
 <td> mapreduce.job.split.metainfo.maxsize &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10000000 </td> 
 <td> 分隔元信息文件的最大值是10M以下 </td> 
 </tr> 
 <tr> 
 <td> 30 </td> 
 <td> mapred.jobtracker.taskScheduler &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.mapred.JobQueueTaskScheduler </td> 
 <td> 设定任务的执行计划实现类 </td> 
 </tr> 
 <tr> 
 <td> 31 </td> 
 <td> mapred.jobtracker.taskScheduler.maxRunningTasksPerJob </td> 
 <td> &nbsp; </td> 
 <td> 作业同时运行的任务数的最大值 </td> 
 </tr> 
 <tr> 
 <td> 32 </td> 
 <td> mapred.map.max.attempts &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 4 &nbsp;&nbsp;&nbsp; </td> 
 <td> Map任务的重试次数 </td> 
 </tr> 
 <tr> 
 <td> 33 </td> 
 <td> mapred.reduce.max.attempts &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 4 &nbsp;&nbsp;&nbsp; </td> 
 <td> Reduce任务的重试次数 </td> 
 </tr> 
 <tr> 
 <td> 34 </td> 
 <td> mapred.reduce.parallel.copies &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 5 &nbsp;&nbsp;&nbsp; </td> 
 <td> 在复制阶段时reduce并行传送的值。 </td> 
 </tr> 
 <tr> 
 <td> 35 </td> 
 <td> mapreduce.reduce.shuffle.maxfetchfailures &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10 &nbsp;&nbsp; </td> 
 <td> 取map输出的最大重试次数 </td> 
 </tr> 
 <tr> 
 <td> 36 </td> 
 <td> mapreduce.reduce.shuffle.connect.timeout &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 180000 </td> 
 <td> REDUCE任务连接任务管理器获得map输出时的总耗时是3分钟 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 37 </td> 
 <td> mapreduce.reduce.shuffle.read.timeout &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 180000 </td> 
 <td> REDUCE任务等待map输出数据的总耗时是3分钟 </td> 
 </tr> 
 <tr> 
 <td> 38 </td> 
 <td> mapred.task.timeout &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 600000 </td> 
 <td> 如果任务无读无写时的时间耗时为10分钟，将被终止 </td> 
 </tr> 
 <tr> 
 <td> 39 </td> 
 <td> mapred.tasktracker.map.tasks.maximum &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 2 &nbsp;&nbsp;&nbsp; </td> 
 <td> 任管管理器可同时运行map任务数为2 </td> 
 </tr> 
 <tr> 
 <td> 40 </td> 
 <td> mapred.tasktracker.reduce.tasks.maximum &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 2 &nbsp;&nbsp;&nbsp; </td> 
 <td> 任管管理器可同时运行reduce任务数为2 </td> 
 </tr> 
 <tr> 
 <td> 41 </td> 
 <td> mapred.jobtracker.completeuserjobs.maximum </td> 
 <td> 100 &nbsp;&nbsp;&nbsp; </td> 
 <td> 当用户的完成作业数达100个后，将其放入作业历史文件中 </td> 
 </tr> 
 <tr> 
 <td> 42 </td> 
 <td> mapreduce.reduce.input.limit &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Reduce输入量的限制。 </td> 
 </tr> 
 <tr> 
 <td> 43 </td> 
 <td> mapred.job.tracker.retiredjobs.cache.size &nbsp; </td> 
 <td> 1000 &nbsp;&nbsp; </td> 
 <td> 作业状态为已不在执行的保留在内存中的量为1000 </td> 
 </tr> 
 <tr> 
 <td> 44 </td> 
 <td> mapred.job.tracker.jobhistory.lru.cache.size </td> 
 <td> 5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业历史文件装载到内存的数量 </td> 
 </tr> 
 <tr> 
 <td> 45 </td> 
 <td> mapred.child.java.opts &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -Xmx200m </td> 
 <td> 启动task管理的子进程时的内存设置 </td> 
 </tr> 
 <tr> 
 <td> 46 </td> 
 <td> mapred.child.env &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 子进程的参数设置 </td> 
 </tr> 
 <tr> 
 <td> 47 </td> 
 <td> mapred.child.ulimit &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 虚拟机所需内存的设定。 </td> 
 </tr> 
 <tr> 
 <td> 48 </td> 
 <td> mapred.cluster.map.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 49 </td> 
 <td> mapred.cluster.reduce.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 50 </td> 
 <td> mapred.cluster.max.map.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 51 </td> 
 <td> mapred.cluster.max.reduce.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 52 </td> 
 <td> mapred.job.map.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 53 </td> 
 <td> mapred.job.reduce.memory.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 54 </td> 
 <td> mapred.child.tmp &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> /tmp &nbsp;&nbsp; </td> 
 <td> Mr任务信息的存放目录 </td> 
 </tr> 
 <tr> 
 <td> 55 </td> 
 <td> mapred.inmem.merge.threshold &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1000 &nbsp;&nbsp; </td> 
 <td> 内存中的合并文件数设置 </td> 
 </tr> 
 <tr> 
 <td> 56 </td> 
 <td> mapred.job.shuffle.merge.percent &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.66 &nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 57 </td> 
 <td> mapred.job.shuffle.input.buffer.percent &nbsp;&nbsp;&nbsp; </td> 
 <td> 0.70 &nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 58 </td> 
 <td> mapred.job.reduce.input.buffer.percent &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.0 &nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 59 </td> 
 <td> mapred.map.tasks.speculative.execution &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp; </td> 
 <td> Map任务的多实例并行运行标识 </td> 
 </tr> 
 <tr> 
 <td> 60 </td> 
 <td> mapred.reduce.tasks.speculative.execution &nbsp; </td> 
 <td> true &nbsp;&nbsp; </td> 
 <td> Reduce任务的多实例并行运行标识 </td> 
 </tr> 
 <tr> 
 <td> 61 </td> 
 <td> mapred.job.reuse.jvm.num.tasks </td> 
 <td> 1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每虚拟机运行的任务数 </td> 
 </tr> 
 <tr> 
 <td> 62 </td> 
 <td> mapred.min.split.size </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Map的输入数据被分解的块数设置 </td> 
 </tr> 
 <tr> 
 <td> 63 </td> 
 <td> mapred.jobtracker.maxtasks.per.job </td> 
 <td> -1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 一个单独作业的任务数设置 </td> 
 </tr> 
 <tr> 
 <td> 64 </td> 
 <td> mapred.submit.replication </td> 
 <td> 10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 提交作业文件的复制级别 </td> 
 </tr> 
 <tr> 
 <td> 65 </td> 
 <td> mapred.tasktracker.dns.interface </td> 
 <td> default &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器是否报告IP地址名的开关 </td> 
 </tr> 
 <tr> 
 <td> 66 </td> 
 <td> mapred.tasktracker.dns.nameserver </td> 
 <td> default &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业和任务管理跟踪器之间通讯方式采用的DNS服务的主机名或IP地址 </td> 
 </tr> 
 <tr> 
 <td> 67 </td> 
 <td> tasktracker.http.threads </td> 
 <td> 40 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> http服务器的工作线程数量 </td> 
 </tr> 
 <tr> 
 <td> 68 </td> 
 <td> mapred.task.tracker.http.address </td> 
 <td> 0.0.0.0:50060 </td> 
 <td> 任务管理跟踪器的http服务器的地址和端口 </td> 
 </tr> 
 <tr> 
 <td> 69 </td> 
 <td> keep.failed.task.files </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 失败任务是否保存到文件中 </td> 
 </tr> 
 <tr> 
 <td> 70 </td> 
 <td> mapred.output.compress </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业的输出是否压缩 </td> 
 </tr> 
 <tr> 
 <td> 71 </td> 
 <td> mapred.output.compression.type </td> 
 <td> RECORD &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业输出采用NONE, RECORD or BLOCK三种方式中一种压缩的写入到流式文件 </td> 
 </tr> 
 <tr> 
 <td> 72 </td> 
 <td> mapred.output.compression.codec </td> 
 <td> org.apache.hadoop.io.compress.DefaultCodec </td> 
 <td> 压缩类的设置 </td> 
 </tr> 
 <tr> 
 <td> 73 </td> 
 <td> mapred.compress.map.output </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Map的输出是否压缩 </td> 
 </tr> 
 <tr> 
 <td> 74 </td> 
 <td> mapred.map.output.compression.codec </td> 
 <td> org.apache.hadoop.io.compress.DefaultCodec </td> 
 <td> Map的输出压缩的实现类指定 </td> 
 </tr> 
 <tr> 
 <td> 75 </td> 
 <td> map.sort.class </td> 
 <td> org.apache.hadoop.util.QuickSort &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 排序键的排序类指定 </td> 
 </tr> 
 <tr> 
 <td> 76 </td> 
 <td> mapred.userlog.limit.kb </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每个任务的用户日志文件大小 </td> 
 </tr> 
 <tr> 
 <td> 77 </td> 
 <td> mapred.userlog.retain.hours </td> 
 <td> 24 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业完成后的用户日志留存时间为24小时 </td> 
 </tr> 
 <tr> 
 <td> 78 </td> 
 <td> mapred.user.jobconf.limit </td> 
 <td> 5242880 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Jobconf的大小为5M </td> 
 </tr> 
 <tr> 
 <td> 79 </td> 
 <td> mapred.hosts </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 可与作业管理跟踪器连接的主机名 </td> 
 </tr> 
 <tr> 
 <td> 80 </td> 
 <td> mapred.hosts.exclude </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 不可与作业管理跟踪器连接的主机名 </td> 
 </tr> 
 <tr> 
 <td> 81 </td> 
 <td> mapred.heartbeats.in.second &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 100 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业管理跟踪器的每秒中到达的心跳数量为100 </td> 
 </tr> 
 <tr> 
 <td> 82 </td> 
 <td> mapred.max.tracker.blacklists &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 4 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器的黑名单列表的数量 </td> 
 </tr> 
 <tr> 
 <td> 83 </td> 
 <td> mapred.jobtracker.blacklist.fault-timeout-window </td> 
 <td> 180 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器超时180分钟则訪任务将被重启 </td> 
 </tr> 
 <tr> 
 <td> 84 </td> 
 <td> mapred.jobtracker.blacklist.fault-bucket-width </td> 
 <td> 15 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 85 </td> 
 <td> mapred.max.tracker.failures &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 4 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器的失败任务数设定 </td> 
 </tr> 
 <tr> 
 <td> 86 </td> 
 <td> jobclient.output.filter &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> FAILED &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 控制任务的用户日志输出到作业端时的过滤方式 </td> 
 </tr> 
 <tr> 
 <td> 87 </td> 
 <td> mapred.job.tracker.persist.jobstatus.active &nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 是否持久化作业管理跟踪器的信息 </td> 
 </tr> 
 <tr> 
 <td> 88 </td> 
 <td> mapred.job.tracker.persist.jobstatus.hours &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 持久化作业管理跟踪器的信息的保存时间 </td> 
 </tr> 
 <tr> 
 <td> 89 </td> 
 <td> mapred.job.tracker.persist.jobstatus.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> /jobtracker/jobsInfo </td> 
 <td> 作业管理跟踪器的信息存放目录 </td> 
 </tr> 
 <tr> 
 <td> 90 </td> 
 <td> mapreduce.job.complete.cancel.delegation.tokens </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 恢复时是否变更领牌 &nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 91 </td> 
 <td> mapred.task.profile &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务分析信息是否建设标志 </td> 
 </tr> 
 <tr> 
 <td> 92 </td> 
 <td> mapred.task.profile.maps &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0-2 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 设置map任务的分析范围 </td> 
 </tr> 
 <tr> 
 <td> 93 </td> 
 <td> mapred.task.profile.reduces &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0-2 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 设置reduce任务的分析范围 </td> 
 </tr> 
 <tr> 
 <td> 94 </td> 
 <td> mapred.line.input.format.linespermap &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 1 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 每次切分的行数设置 </td> 
 </tr> 
 <tr> 
 <td> 95 </td> 
 <td> mapred.skip.attempts.to.start.skipping &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 2 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 在跳转模式未被设定的情况下任务的重试次数 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 <tr> 
 <td> 96 </td> 
 <td> mapred.skip.map.auto.incr.proc.count &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> MapRunner在调用map功能后的增量处理方式设置 </td> 
 </tr> 
 <tr> 
 <td> 97 </td> 
 <td> mapred.skip.reduce.auto.incr.proc.count &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> true &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 在调用reduce功能后的增量处理方式设置 </td> 
 </tr> 
 <tr> 
 <td> 98 </td> 
 <td> mapred.skip.out.dir &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 跳过记录的输出目录 </td> 
 </tr> 
 <tr> 
 <td> 99 </td> 
 <td> mapred.skip.map.max.skip.records &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 100 </td> 
 <td> mapred.skip.reduce.max.skip.groups &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 101 </td> 
 <td> job.end.retry.attempts &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> Hadoop偿试连接通知器的次数 &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 102 </td> 
 <td> job.end.retry.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 30000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 通知偿试回应的间隔操作为30秒 </td> 
 </tr> 
 <tr> 
 <td> 103 </td> 
 <td> hadoop.rpc.socket.factory.class.JobSubmissionProtocol </td> 
 <td> &nbsp; </td> 
 <td> 指定与作业跟踪管理器的通讯方式，缺省是采用rpc方式 </td> 
 </tr> 
 <tr> 
 <td> 104 </td> 
 <td> mapred.task.cache.levels &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 2 &nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务缓存级别设置 </td> 
 </tr> 
 <tr> 
 <td> 105 </td> 
 <td> mapred.queue.names &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> default </td> 
 <td> 分隔作业队例的分隔符设定 </td> 
 </tr> 
 <tr> 
 <td> 106 </td> 
 <td> mapred.acls.enabled &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> false </td> 
 <td> 指定ACL访问控制列表 </td> 
 </tr> 
 <tr> 
 <td> 107 </td> 
 <td> mapred.queue.default.state &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> RUNNING </td> 
 <td> 定义队列的状态 </td> 
 </tr> 
 <tr> 
 <td> 108 </td> 
 <td> mapred.job.queue.name &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> default </td> 
 <td> 已提交作业的队列设定 </td> 
 </tr> 
 <tr> 
 <td> 109 </td> 
 <td> mapreduce.job.acl-modify-job &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 指定可修改作业的ACL列表 </td> 
 </tr> 
 <tr> 
 <td> 110 </td> 
 <td> mapreduce.job.acl-view-job &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 指定可浏临作业的ACL列表 </td> 
 </tr> 
 <tr> 
 <td> 111 </td> 
 <td> mapred.tasktracker.indexcache.mb &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10 &nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理跟踪器的索引内存的最大容器 </td> 
 </tr> 
 <tr> 
 <td> 112 </td> 
 <td> mapred.combine.recordsBeforeProgress &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10000 </td> 
 <td> 在聚合处理时的记录块数 </td> 
 </tr> 
 <tr> 
 <td> 113 </td> 
 <td> mapred.merge.recordsBeforeProgress &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 10000 </td> 
 <td> 在汇总处理时的记录块数 </td> 
 </tr> 
 <tr> 
 <td> 114 </td> 
 <td> mapred.reduce.slowstart.completed.maps &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 0.05 &nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 115 </td> 
 <td> mapred.task.tracker.task-controller &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> org.apache.hadoop.mapred.DefaultTaskController </td> 
 <td> 任务管理器的设定 </td> 
 </tr> 
 <tr> 
 <td> 116 </td> 
 <td> mapreduce.tasktracker.group &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 任务管理器的组成员设定 </td> 
 </tr> 
 <tr> 
 <td> 117 </td> 
 <td> mapred.healthChecker.script.path &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 脚本的绝对路径指定，这些脚本是心跳服务的 </td> 
 </tr> 
 <tr> 
 <td> 118 </td> 
 <td> mapred.healthChecker.interval &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 60000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 节点心跳信息的间隔 </td> 
 </tr> 
 <tr> 
 <td> 119 </td> 
 <td> mapred.healthChecker.script.timeout &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 600000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 120 </td> 
 <td> mapred.healthChecker.script.args &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 参数列表 </td> 
 </tr> 
 <tr> 
 <td> 121 </td> 
 <td> mapreduce.job.counters.limit &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 120 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td> 作业计数器的最小值 </td> 
 </tr> 
 </tbody> 
</table>

## 9.4. **yarn-default.xml** ##

<table> 
 <tbody> 
 <tr> 
 <td> 序号 </td> 
 <td> 参数 </td> 
 <td> 默认值 </td> 
 <td> 参数说明 </td> 
 </tr> 
 <tr> 
 <td> 1 </td> 
 <td> yarn.resourcemanager.hostname </td> 
 <td> &nbsp; </td> 
 <td> RM的hostname </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> yarn.resourcemanager.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8032 </td> 
 <td> RM对客户端暴露的地址，客户端通过该地址向RM提交应用程序等 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> yarn.resourcemanager.scheduler.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8030 </td> 
 <td> RM对AM暴露的地址，AM通过地址想RM申请资源，释放资源等 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> yarn.resourcemanager.webapp.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8088 </td> 
 <td> RM对外暴露的web &nbsp;http地址，用户可通过该地址在浏览器中查看集群信息 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> yarn.resourcemanager.webapp.https.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8090 </td> 
 <td> web https 地址 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> yarn.resourcemanager.resource-tracker.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8031 </td> 
 <td> RM对NM暴露地址，NM通过该地址向RM汇报心跳，领取任务等 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> yarn.resourcemanager.resource-tracker.client.thread-count </td> 
 <td> 50 </td> 
 <td> 处理来自NM的RPC请求的handler数 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> yarn.resourcemanager.admin.address </td> 
 <td> ${yarn.resourcemanager.hostname}:8033 </td> 
 <td> 管理员可以通过该地址向RM发送管理命令等 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> yarn.resourcemanager.scheduler.class </td> 
 <td> org.apache.hadoop.yarn.server.resourcemanager </td> 
 <td> 资源调度器主类 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> .scheduler.capacity.CapacityScheduler </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> yarn.resourcemanager.scheduler.client.thread-count </td> 
 <td> 50 </td> 
 <td> 处理来自AM的RPC请求的handler数 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> yarn.scheduler.minimum-allocation-mb </td> 
 <td> 1024 </td> 
 <td> 可申请的最少内存资源，以MB为单位 </td> 
 </tr> 
 <tr> 
 <td> 13 </td> 
 <td> yarn.scheduler.maximum-allocation-mb </td> 
 <td> 8192 </td> 
 <td> 可申请的最大内存资源，以MB为单位 </td> 
 </tr> 
 <tr> 
 <td> 14 </td> 
 <td> yarn.scheduler.minimum-allocation-vcores </td> 
 <td> 1 </td> 
 <td> 可申请的最小虚拟CPU个数 </td> 
 </tr> 
 <tr> 
 <td> 15 </td> 
 <td> yarn.scheduler.maximum-allocation-vcores </td> 
 <td> 32 </td> 
 <td> 可申请的最 大虚拟CPU个数 </td> 
 </tr> 
 <tr> 
 <td> 16 </td> 
 <td> yarn.nodemanager.local-dirs </td> 
 <td> ${hadoop.tmp.dir}/nm-local-dir </td> 
 <td> 中间结果存放位置，可配置多目录 </td> 
 </tr> 
 <tr> 
 <td> 17 </td> 
 <td> yarn.log-aggregation-enable </td> 
 <td> FALSE </td> 
 <td> 是否启用日志聚合 </td> 
 </tr> 
 <tr> 
 <td> 18 </td> 
 <td> yarn.nodemanager.remote-app-log-dir </td> 
 <td> /tmp/logs </td> 
 <td> 日志聚合目录 </td> 
 </tr> 
 <tr> 
 <td> 19 </td> 
 <td> yarn.nodemanager.resource.memory-mb </td> 
 <td> 8192 </td> 
 <td> NM总的可用物理内存，以MB为单位。一旦设置，不可动态修改 </td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td> yarn.nodemanager.resource.cpu-vcores </td> 
 <td> 8 </td> 
 <td> 可分配的CPU个数 </td> 
 </tr> 
 <tr> 
 <td> 21 </td> 
 <td> yarn.nodemanager.aux-services </td> 
 <td> &nbsp; </td> 
 <td> NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 </td> 
 </tr> 
 </tbody> 
</table>

## 9.5. **新旧属性对应表** ##

<table> 
 <tbody> 
 <tr> 
 <td> 废弃属性 </td> 
 <td> 新属性 </td> 
 </tr> 
 <tr> 
 <td> create.empty.dir.if.nonexist </td> 
 <td> mapreduce.jobcontrol.createdir.ifnotexist </td> 
 </tr> 
 <tr> 
 <td> dfs.access.time.precision </td> 
 <td> dfs.namenode.accesstime.precision </td> 
 </tr> 
 <tr> 
 <td> dfs.backup.address </td> 
 <td> dfs.namenode.backup.address </td> 
 </tr> 
 <tr> 
 <td> dfs.backup.http.address </td> 
 <td> dfs.namenode.backup.http-address </td> 
 </tr> 
 <tr> 
 <td> dfs.balance.bandwidthPerSec </td> 
 <td> dfs.datanode.balance.bandwidthPerSec </td> 
 </tr> 
 <tr> 
 <td> dfs.block.size </td> 
 <td> dfs.blocksize </td> 
 </tr> 
 <tr> 
 <td> dfs.data.dir </td> 
 <td> dfs.datanode.data.dir </td> 
 </tr> 
 <tr> 
 <td> dfs.datanode.max.xcievers </td> 
 <td> dfs.datanode.max.transfer.threads </td> 
 </tr> 
 <tr> 
 <td> dfs.df.interval </td> 
 <td> fs.df.interval </td> 
 </tr> 
 <tr> 
 <td> dfs.encryption.key.provider.uri </td> 
 <td> hadoop.security.key.provider.path </td> 
 </tr> 
 <tr> 
 <td> dfs.federation.nameservice.id </td> 
 <td> dfs.nameservice.id </td> 
 </tr> 
 <tr> 
 <td> dfs.federation.nameservices </td> 
 <td> dfs.nameservices </td> 
 </tr> 
 <tr> 
 <td> dfs.http.address </td> 
 <td> dfs.namenode.http-address </td> 
 </tr> 
 <tr> 
 <td> dfs.https.address </td> 
 <td> dfs.namenode.https-address </td> 
 </tr> 
 <tr> 
 <td> dfs.https.client.keystore.resource </td> 
 <td> dfs.client.https.keystore.resource </td> 
 </tr> 
 <tr> 
 <td> dfs.https.enable </td> 
 <td> dfs.http.policy </td> 
 </tr> 
 <tr> 
 <td> dfs.https.need.client.auth </td> 
 <td> dfs.client.https.need-auth </td> 
 </tr> 
 <tr> 
 <td> dfs.max.objects </td> 
 <td> dfs.namenode.max.objects </td> 
 </tr> 
 <tr> 
 <td> dfs.max-repl-streams </td> 
 <td> dfs.namenode.replication.max-streams </td> 
 </tr> 
 <tr> 
 <td> dfs.name.dir </td> 
 <td> dfs.namenode.name.dir </td> 
 </tr> 
 <tr> 
 <td> dfs.name.dir.restore </td> 
 <td> dfs.namenode.name.dir.restore </td> 
 </tr> 
 <tr> 
 <td> dfs.name.edits.dir </td> 
 <td> dfs.namenode.edits.dir </td> 
 </tr> 
 <tr> 
 <td> dfs.permissions </td> 
 <td> dfs.permissions.enabled </td> 
 </tr> 
 <tr> 
 <td> dfs.permissions.supergroup </td> 
 <td> dfs.permissions.superusergroup </td> 
 </tr> 
 <tr> 
 <td> dfs.read.prefetch.size </td> 
 <td> dfs.client.read.prefetch.size </td> 
 </tr> 
 <tr> 
 <td> dfs.replication.considerLoad </td> 
 <td> dfs.namenode.replication.considerLoad </td> 
 </tr> 
 <tr> 
 <td> dfs.replication.interval </td> 
 <td> dfs.namenode.replication.interval </td> 
 </tr> 
 <tr> 
 <td> dfs.replication.min </td> 
 <td> dfs.namenode.replication.min </td> 
 </tr> 
 <tr> 
 <td> dfs.replication.pending.timeout.sec </td> 
 <td> dfs.namenode.replication.pending.timeout-sec </td> 
 </tr> 
 <tr> 
 <td> dfs.safemode.extension </td> 
 <td> dfs.namenode.safemode.extension </td> 
 </tr> 
 <tr> 
 <td> dfs.safemode.threshold.pct </td> 
 <td> dfs.namenode.safemode.threshold-pct </td> 
 </tr> 
 <tr> 
 <td> dfs.secondary.http.address </td> 
 <td> dfs.namenode.secondary.http-address </td> 
 </tr> 
 <tr> 
 <td> dfs.socket.timeout </td> 
 <td> dfs.client.socket-timeout </td> 
 </tr> 
 <tr> 
 <td> dfs.umaskmode </td> 
 <td> fs.permissions.umask-mode </td> 
 </tr> 
 <tr> 
 <td> dfs.web.ugi </td> 
 <td> hadoop.http.staticuser.user </td> 
 </tr> 
 <tr> 
 <td> dfs.write.packet.size </td> 
 <td> dfs.client-write-packet-size </td> 
 </tr> 
 <tr> 
 <td> fs.checkpoint.dir </td> 
 <td> dfs.namenode.checkpoint.dir </td> 
 </tr> 
 <tr> 
 <td> fs.checkpoint.edits.dir </td> 
 <td> dfs.namenode.checkpoint.edits.dir </td> 
 </tr> 
 <tr> 
 <td> fs.checkpoint.period </td> 
 <td> dfs.namenode.checkpoint.period </td> 
 </tr> 
 <tr> 
 <td> fs.default.name </td> 
 <td> fs.defaultFS </td> 
 </tr> 
 <tr> 
 <td> fs.s3a.server-side-encryption-key </td> 
 <td> fs.s3a.server-side-encryption.key </td> 
 </tr> 
 <tr> 
 <td> hadoop.configured.node.mapping </td> 
 <td> net.topology.configured.node.mapping </td> 
 </tr> 
 <tr> 
 <td> hadoop.job.history.location </td> 
 <td> mapreduce.jobtracker.jobhistory.location </td> 
 </tr> 
 <tr> 
 <td> hadoop.native.lib </td> 
 <td> io.native.lib.available </td> 
 </tr> 
 <tr> 
 <td> hadoop.net.static.resolutions </td> 
 <td> mapreduce.tasktracker.net.static.resolutions </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.command-file.keep </td> 
 <td> mapreduce.pipes.commandfile.preserve </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.executable.interpretor </td> 
 <td> mapreduce.pipes.executable.interpretor </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.executable </td> 
 <td> mapreduce.pipes.executable </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.java.mapper </td> 
 <td> mapreduce.pipes.isjavamapper </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.java.recordreader </td> 
 <td> mapreduce.pipes.isjavarecordreader </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.java.recordwriter </td> 
 <td> mapreduce.pipes.isjavarecordwriter </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.java.reducer </td> 
 <td> mapreduce.pipes.isjavareducer </td> 
 </tr> 
 <tr> 
 <td> hadoop.pipes.partitioner </td> 
 <td> mapreduce.pipes.partitioner </td> 
 </tr> 
 <tr> 
 <td> heartbeat.recheck.interval </td> 
 <td> dfs.namenode.heartbeat.recheck-interval </td> 
 </tr> 
 <tr> 
 <td> io.bytes.per.checksum </td> 
 <td> dfs.bytes-per-checksum </td> 
 </tr> 
 <tr> 
 <td> io.sort.factor </td> 
 <td> mapreduce.task.io.sort.factor </td> 
 </tr> 
 <tr> 
 <td> io.sort.mb </td> 
 <td> mapreduce.task.io.sort.mb </td> 
 </tr> 
 <tr> 
 <td> io.sort.spill.percent </td> 
 <td> mapreduce.map.sort.spill.percent </td> 
 </tr> 
 <tr> 
 <td> jobclient.completion.poll.interval </td> 
 <td> mapreduce.client.completion.pollinterval </td> 
 </tr> 
 <tr> 
 <td> jobclient.output.filter </td> 
 <td> mapreduce.client.output.filter </td> 
 </tr> 
 <tr> 
 <td> jobclient.progress.monitor.poll.interval </td> 
 <td> mapreduce.client.progressmonitor.pollinterval </td> 
 </tr> 
 <tr> 
 <td> job.end.notification.url </td> 
 <td> mapreduce.job.end-notification.url </td> 
 </tr> 
 <tr> 
 <td> job.end.retry.attempts </td> 
 <td> mapreduce.job.end-notification.retry.attempts </td> 
 </tr> 
 <tr> 
 <td> job.end.retry.interval </td> 
 <td> mapreduce.job.end-notification.retry.interval </td> 
 </tr> 
 <tr> 
 <td> job.local.dir </td> 
 <td> mapreduce.job.local.dir </td> 
 </tr> 
 <tr> 
 <td> keep.failed.task.files </td> 
 <td> mapreduce.task.files.preserve.failedtasks </td> 
 </tr> 
 <tr> 
 <td> keep.task.files.pattern </td> 
 <td> mapreduce.task.files.preserve.filepattern </td> 
 </tr> 
 <tr> 
 <td> key.value.separator.in.input.line </td> 
 <td> mapreduce.input.keyvaluelinerecordreader.key.value.separator </td> 
 </tr> 
 <tr> 
 <td> local.cache.size </td> 
 <td> mapreduce.tasktracker.cache.local.size </td> 
 </tr> 
 <tr> 
 <td> map.input.file </td> 
 <td> mapreduce.map.input.file </td> 
 </tr> 
 <tr> 
 <td> map.input.length </td> 
 <td> mapreduce.map.input.length </td> 
 </tr> 
 <tr> 
 <td> map.input.start </td> 
 <td> mapreduce.map.input.start </td> 
 </tr> 
 <tr> 
 <td> map.output.key.field.separator </td> 
 <td> mapreduce.map.output.key.field.separator </td> 
 </tr> 
 <tr> 
 <td> map.output.key.value.fields.spec </td> 
 <td> mapreduce.fieldsel.map.output.key.value.fields.spec </td> 
 </tr> 
 <tr> 
 <td> mapred.acls.enabled </td> 
 <td> mapreduce.cluster.acls.enabled </td> 
 </tr> 
 <tr> 
 <td> mapred.binary.partitioner.left.offset </td> 
 <td> mapreduce.partition.binarypartitioner.left.offset </td> 
 </tr> 
 <tr> 
 <td> mapred.binary.partitioner.right.offset </td> 
 <td> mapreduce.partition.binarypartitioner.right.offset </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.archives </td> 
 <td> mapreduce.job.cache.archives </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.archives.timestamps </td> 
 <td> mapreduce.job.cache.archives.timestamps </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.files </td> 
 <td> mapreduce.job.cache.files </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.files.timestamps </td> 
 <td> mapreduce.job.cache.files.timestamps </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.localArchives </td> 
 <td> mapreduce.job.cache.local.archives </td> 
 </tr> 
 <tr> 
 <td> mapred.cache.localFiles </td> 
 <td> mapreduce.job.cache.local.files </td> 
 </tr> 
 <tr> 
 <td> mapred.child.tmp </td> 
 <td> mapreduce.task.tmp.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.cluster.average.blacklist.threshold </td> 
 <td> mapreduce.jobtracker.blacklist.average.threshold </td> 
 </tr> 
 <tr> 
 <td> mapred.cluster.map.memory.mb </td> 
 <td> mapreduce.cluster.mapmemory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.cluster.max.map.memory.mb </td> 
 <td> mapreduce.jobtracker.maxmapmemory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.cluster.max.reduce.memory.mb </td> 
 <td> mapreduce.jobtracker.maxreducememory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.cluster.reduce.memory.mb </td> 
 <td> mapreduce.cluster.reducememory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.committer.job.setup.cleanup.needed </td> 
 <td> mapreduce.job.committer.setup.cleanup.needed </td> 
 </tr> 
 <tr> 
 <td> mapred.compress.map.output </td> 
 <td> mapreduce.map.output.compress </td> 
 </tr> 
 <tr> 
 <td> mapred.data.field.separator </td> 
 <td> mapreduce.fieldsel.data.field.separator </td> 
 </tr> 
 <tr> 
 <td> mapred.debug.out.lines </td> 
 <td> mapreduce.task.debugout.lines </td> 
 </tr> 
 <tr> 
 <td> mapred.healthChecker.interval </td> 
 <td> mapreduce.tasktracker.healthchecker.interval </td> 
 </tr> 
 <tr> 
 <td> mapred.healthChecker.script.args </td> 
 <td> mapreduce.tasktracker.healthchecker.script.args </td> 
 </tr> 
 <tr> 
 <td> mapred.healthChecker.script.path </td> 
 <td> mapreduce.tasktracker.healthchecker.script.path </td> 
 </tr> 
 <tr> 
 <td> mapred.healthChecker.script.timeout </td> 
 <td> mapreduce.tasktracker.healthchecker.script.timeout </td> 
 </tr> 
 <tr> 
 <td> mapred.heartbeats.in.second </td> 
 <td> mapreduce.jobtracker.heartbeats.in.second </td> 
 </tr> 
 <tr> 
 <td> mapred.hosts.exclude </td> 
 <td> mapreduce.jobtracker.hosts.exclude.filename </td> 
 </tr> 
 <tr> 
 <td> mapred.hosts </td> 
 <td> mapreduce.jobtracker.hosts.filename </td> 
 </tr> 
 <tr> 
 <td> mapred.inmem.merge.threshold </td> 
 <td> mapreduce.reduce.merge.inmem.threshold </td> 
 </tr> 
 <tr> 
 <td> mapred.input.dir.formats </td> 
 <td> mapreduce.input.multipleinputs.dir.formats </td> 
 </tr> 
 <tr> 
 <td> mapred.input.dir.mappers </td> 
 <td> mapreduce.input.multipleinputs.dir.mappers </td> 
 </tr> 
 <tr> 
 <td> mapred.input.dir </td> 
 <td> mapreduce.input.fileinputformat.inputdir </td> 
 </tr> 
 <tr> 
 <td> mapred.input.pathFilter.class </td> 
 <td> mapreduce.input.pathFilter.class </td> 
 </tr> 
 <tr> 
 <td> mapred.jar </td> 
 <td> mapreduce.job.jar </td> 
 </tr> 
 <tr> 
 <td> mapred.job.classpath.archives </td> 
 <td> mapreduce.job.classpath.archives </td> 
 </tr> 
 <tr> 
 <td> mapred.job.classpath.files </td> 
 <td> mapreduce.job.classpath.files </td> 
 </tr> 
 <tr> 
 <td> mapred.job.id </td> 
 <td> mapreduce.job.id </td> 
 </tr> 
 <tr> 
 <td> mapred.jobinit.threads </td> 
 <td> mapreduce.jobtracker.jobinit.threads </td> 
 </tr> 
 <tr> 
 <td> mapred.job.map.memory.mb </td> 
 <td> mapreduce.map.memory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.job.name </td> 
 <td> mapreduce.job.name </td> 
 </tr> 
 <tr> 
 <td> mapred.job.priority </td> 
 <td> mapreduce.job.priority </td> 
 </tr> 
 <tr> 
 <td> mapred.job.queue.name </td> 
 <td> mapreduce.job.queuename </td> 
 </tr> 
 <tr> 
 <td> mapred.job.reduce.input.buffer.percent </td> 
 <td> mapreduce.reduce.input.buffer.percent </td> 
 </tr> 
 <tr> 
 <td> mapred.job.reduce.markreset.buffer.percent </td> 
 <td> mapreduce.reduce.markreset.buffer.percent </td> 
 </tr> 
 <tr> 
 <td> mapred.job.reduce.memory.mb </td> 
 <td> mapreduce.reduce.memory.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.job.reduce.total.mem.bytes </td> 
 <td> mapreduce.reduce.memory.totalbytes </td> 
 </tr> 
 <tr> 
 <td> mapred.job.reuse.jvm.num.tasks </td> 
 <td> mapreduce.job.jvm.numtasks </td> 
 </tr> 
 <tr> 
 <td> mapred.job.shuffle.input.buffer.percent </td> 
 <td> mapreduce.reduce.shuffle.input.buffer.percent </td> 
 </tr> 
 <tr> 
 <td> mapred.job.shuffle.merge.percent </td> 
 <td> mapreduce.reduce.shuffle.merge.percent </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.handler.count </td> 
 <td> mapreduce.jobtracker.handler.count </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.history.completed.location </td> 
 <td> mapreduce.jobtracker.jobhistory.completed.location </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.http.address </td> 
 <td> mapreduce.jobtracker.http.address </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.instrumentation </td> 
 <td> mapreduce.jobtracker.instrumentation </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.job.history.block.size </td> 
 <td> mapreduce.jobtracker.jobhistory.block.size </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.jobhistory.lru.cache.size </td> 
 <td> mapreduce.jobtracker.jobhistory.lru.cache.size </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker </td> 
 <td> mapreduce.jobtracker.address </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.maxtasks.per.job </td> 
 <td> mapreduce.jobtracker.maxtasks.perjob </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.persist.jobstatus.active </td> 
 <td> mapreduce.jobtracker.persist.jobstatus.active </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.persist.jobstatus.dir </td> 
 <td> mapreduce.jobtracker.persist.jobstatus.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.persist.jobstatus.hours </td> 
 <td> mapreduce.jobtracker.persist.jobstatus.hours </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.restart.recover </td> 
 <td> mapreduce.jobtracker.restart.recover </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.retiredjobs.cache.size </td> 
 <td> mapreduce.jobtracker.retiredjobs.cache.size </td> 
 </tr> 
 <tr> 
 <td> mapred.job.tracker.retire.jobs </td> 
 <td> mapreduce.jobtracker.retirejobs </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.taskalloc.capacitypad </td> 
 <td> mapreduce.jobtracker.taskscheduler.taskalloc.capacitypad </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.taskScheduler </td> 
 <td> mapreduce.jobtracker.taskscheduler </td> 
 </tr> 
 <tr> 
 <td> mapred.jobtracker.taskScheduler.maxRunningTasksPerJob </td> 
 <td> mapreduce.jobtracker.taskscheduler.maxrunningtasks.perjob </td> 
 </tr> 
 <tr> 
 <td> mapred.join.expr </td> 
 <td> mapreduce.join.expr </td> 
 </tr> 
 <tr> 
 <td> mapred.join.keycomparator </td> 
 <td> mapreduce.join.keycomparator </td> 
 </tr> 
 <tr> 
 <td> mapred.lazy.output.format </td> 
 <td> mapreduce.output.lazyoutputformat.outputformat </td> 
 </tr> 
 <tr> 
 <td> mapred.line.input.format.linespermap </td> 
 <td> mapreduce.input.lineinputformat.linespermap </td> 
 </tr> 
 <tr> 
 <td> mapred.linerecordreader.maxlength </td> 
 <td> mapreduce.input.linerecordreader.line.maxlength </td> 
 </tr> 
 <tr> 
 <td> mapred.local.dir </td> 
 <td> mapreduce.cluster.local.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.local.dir.minspacekill </td> 
 <td> mapreduce.tasktracker.local.dir.minspacekill </td> 
 </tr> 
 <tr> 
 <td> mapred.local.dir.minspacestart </td> 
 <td> mapreduce.tasktracker.local.dir.minspacestart </td> 
 </tr> 
 <tr> 
 <td> mapred.map.child.env </td> 
 <td> mapreduce.map.env </td> 
 </tr> 
 <tr> 
 <td> mapred.map.child.java.opts </td> 
 <td> mapreduce.map.java.opts </td> 
 </tr> 
 <tr> 
 <td> mapred.map.child.log.level </td> 
 <td> mapreduce.map.log.level </td> 
 </tr> 
 <tr> 
 <td> mapred.map.max.attempts </td> 
 <td> mapreduce.map.maxattempts </td> 
 </tr> 
 <tr> 
 <td> mapred.map.output.compression.codec </td> 
 <td> mapreduce.map.output.compress.codec </td> 
 </tr> 
 <tr> 
 <td> mapred.mapoutput.key.class </td> 
 <td> mapreduce.map.output.key.class </td> 
 </tr> 
 <tr> 
 <td> mapred.mapoutput.value.class </td> 
 <td> mapreduce.map.output.value.class </td> 
 </tr> 
 <tr> 
 <td> mapred.mapper.regex.group </td> 
 <td> mapreduce.mapper.regexmapper..group </td> 
 </tr> 
 <tr> 
 <td> mapred.mapper.regex </td> 
 <td> mapreduce.mapper.regex </td> 
 </tr> 
 <tr> 
 <td> mapred.map.task.debug.script </td> 
 <td> mapreduce.map.debug.script </td> 
 </tr> 
 <tr> 
 <td> mapred.map.tasks </td> 
 <td> mapreduce.job.maps </td> 
 </tr> 
 <tr> 
 <td> mapred.map.tasks.speculative.execution </td> 
 <td> mapreduce.map.speculative </td> 
 </tr> 
 <tr> 
 <td> mapred.max.map.failures.percent </td> 
 <td> mapreduce.map.failures.maxpercent </td> 
 </tr> 
 <tr> 
 <td> mapred.max.reduce.failures.percent </td> 
 <td> mapreduce.reduce.failures.maxpercent </td> 
 </tr> 
 <tr> 
 <td> mapred.max.split.size </td> 
 <td> mapreduce.input.fileinputformat.split.maxsize </td> 
 </tr> 
 <tr> 
 <td> mapred.max.tracker.blacklists </td> 
 <td> mapreduce.jobtracker.tasktracker.maxblacklists </td> 
 </tr> 
 <tr> 
 <td> mapred.max.tracker.failures </td> 
 <td> mapreduce.job.maxtaskfailures.per.tracker </td> 
 </tr> 
 <tr> 
 <td> mapred.merge.recordsBeforeProgress </td> 
 <td> mapreduce.task.merge.progress.records </td> 
 </tr> 
 <tr> 
 <td> mapred.min.split.size </td> 
 <td> mapreduce.input.fileinputformat.split.minsize </td> 
 </tr> 
 <tr> 
 <td> mapred.min.split.size.per.node </td> 
 <td> mapreduce.input.fileinputformat.split.minsize.per.node </td> 
 </tr> 
 <tr> 
 <td> mapred.min.split.size.per.rack </td> 
 <td> mapreduce.input.fileinputformat.split.minsize.per.rack </td> 
 </tr> 
 <tr> 
 <td> mapred.output.compression.codec </td> 
 <td> mapreduce.output.fileoutputformat.compress.codec </td> 
 </tr> 
 <tr> 
 <td> mapred.output.compression.type </td> 
 <td> mapreduce.output.fileoutputformat.compress.type </td> 
 </tr> 
 <tr> 
 <td> mapred.output.compress </td> 
 <td> mapreduce.output.fileoutputformat.compress </td> 
 </tr> 
 <tr> 
 <td> mapred.output.dir </td> 
 <td> mapreduce.output.fileoutputformat.outputdir </td> 
 </tr> 
 <tr> 
 <td> mapred.output.key.class </td> 
 <td> mapreduce.job.output.key.class </td> 
 </tr> 
 <tr> 
 <td> mapred.output.key.comparator.class </td> 
 <td> mapreduce.job.output.key.comparator.class </td> 
 </tr> 
 <tr> 
 <td> mapred.output.value.class </td> 
 <td> mapreduce.job.output.value.class </td> 
 </tr> 
 <tr> 
 <td> mapred.output.value.groupfn.class </td> 
 <td> mapreduce.job.output.group.comparator.class </td> 
 </tr> 
 <tr> 
 <td> mapred.permissions.supergroup </td> 
 <td> mapreduce.cluster.permissions.supergroup </td> 
 </tr> 
 <tr> 
 <td> mapred.pipes.user.inputformat </td> 
 <td> mapreduce.pipes.inputformat </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.child.env </td> 
 <td> mapreduce.reduce.env </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.child.java.opts </td> 
 <td> mapreduce.reduce.java.opts </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.child.log.level </td> 
 <td> mapreduce.reduce.log.level </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.max.attempts </td> 
 <td> mapreduce.reduce.maxattempts </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.parallel.copies </td> 
 <td> mapreduce.reduce.shuffle.parallelcopies </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.slowstart.completed.maps </td> 
 <td> mapreduce.job.reduce.slowstart.completedmaps </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.task.debug.script </td> 
 <td> mapreduce.reduce.debug.script </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.tasks </td> 
 <td> mapreduce.job.reduces </td> 
 </tr> 
 <tr> 
 <td> mapred.reduce.tasks.speculative.execution </td> 
 <td> mapreduce.reduce.speculative </td> 
 </tr> 
 <tr> 
 <td> mapred.seqbinary.output.key.class </td> 
 <td> mapreduce.output.seqbinaryoutputformat.key.class </td> 
 </tr> 
 <tr> 
 <td> mapred.seqbinary.output.value.class </td> 
 <td> mapreduce.output.seqbinaryoutputformat.value.class </td> 
 </tr> 
 <tr> 
 <td> mapred.shuffle.connect.timeout </td> 
 <td> mapreduce.reduce.shuffle.connect.timeout </td> 
 </tr> 
 <tr> 
 <td> mapred.shuffle.read.timeout </td> 
 <td> mapreduce.reduce.shuffle.read.timeout </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.attempts.to.start.skipping </td> 
 <td> mapreduce.task.skip.start.attempts </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.map.auto.incr.proc.count </td> 
 <td> mapreduce.map.skip.proc-count.auto-incr </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.map.max.skip.records </td> 
 <td> mapreduce.map.skip.maxrecords </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.on </td> 
 <td> mapreduce.job.skiprecords </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.out.dir </td> 
 <td> mapreduce.job.skip.outdir </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.reduce.auto.incr.proc.count </td> 
 <td> mapreduce.reduce.skip.proc-count.auto-incr </td> 
 </tr> 
 <tr> 
 <td> mapred.skip.reduce.max.skip.groups </td> 
 <td> mapreduce.reduce.skip.maxgroups </td> 
 </tr> 
 <tr> 
 <td> mapred.speculative.execution.slowNodeThreshold </td> 
 <td> mapreduce.job.speculative.slownodethreshold </td> 
 </tr> 
 <tr> 
 <td> mapred.speculative.execution.slowTaskThreshold </td> 
 <td> mapreduce.job.speculative.slowtaskthreshold </td> 
 </tr> 
 <tr> 
 <td> mapred.speculative.execution.speculativeCap </td> 
 <td> mapreduce.job.speculative.speculativecap </td> 
 </tr> 
 <tr> 
 <td> mapred.submit.replication </td> 
 <td> mapreduce.client.submit.file.replication </td> 
 </tr> 
 <tr> 
 <td> mapred.system.dir </td> 
 <td> mapreduce.jobtracker.system.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.task.cache.levels </td> 
 <td> mapreduce.jobtracker.taskcache.levels </td> 
 </tr> 
 <tr> 
 <td> mapred.task.id </td> 
 <td> mapreduce.task.attempt.id </td> 
 </tr> 
 <tr> 
 <td> mapred.task.is.map </td> 
 <td> mapreduce.task.ismap </td> 
 </tr> 
 <tr> 
 <td> mapred.task.partition </td> 
 <td> mapreduce.task.partition </td> 
 </tr> 
 <tr> 
 <td> mapred.task.profile </td> 
 <td> mapreduce.task.profile </td> 
 </tr> 
 <tr> 
 <td> mapred.task.profile.maps </td> 
 <td> mapreduce.task.profile.maps </td> 
 </tr> 
 <tr> 
 <td> mapred.task.profile.params </td> 
 <td> mapreduce.task.profile.params </td> 
 </tr> 
 <tr> 
 <td> mapred.task.profile.reduces </td> 
 <td> mapreduce.task.profile.reduces </td> 
 </tr> 
 <tr> 
 <td> mapred.task.timeout </td> 
 <td> mapreduce.task.timeout </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.dns.interface </td> 
 <td> mapreduce.tasktracker.dns.interface </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.dns.nameserver </td> 
 <td> mapreduce.tasktracker.dns.nameserver </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.events.batchsize </td> 
 <td> mapreduce.tasktracker.events.batchsize </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.expiry.interval </td> 
 <td> mapreduce.jobtracker.expire.trackers.interval </td> 
 </tr> 
 <tr> 
 <td> mapred.task.tracker.http.address </td> 
 <td> mapreduce.tasktracker.http.address </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.indexcache.mb </td> 
 <td> mapreduce.tasktracker.indexcache.mb </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.instrumentation </td> 
 <td> mapreduce.tasktracker.instrumentation </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.map.tasks.maximum </td> 
 <td> mapreduce.tasktracker.map.tasks.maximum </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.memory_calculator_plugin </td> 
 <td> mapreduce.tasktracker.resourcecalculatorplugin </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.memorycalculatorplugin </td> 
 <td> mapreduce.tasktracker.resourcecalculatorplugin </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.reduce.tasks.maximum </td> 
 <td> mapreduce.tasktracker.reduce.tasks.maximum </td> 
 </tr> 
 <tr> 
 <td> mapred.task.tracker.report.address </td> 
 <td> mapreduce.tasktracker.report.address </td> 
 </tr> 
 <tr> 
 <td> mapred.task.tracker.task-controller </td> 
 <td> mapreduce.tasktracker.taskcontroller </td> 
 </tr> 
 <tr> 
 <td> mapred.tasktracker.tasks.sleeptime-before-sigkill </td> 
 <td> mapreduce.tasktracker.tasks.sleeptimebeforesigkill </td> 
 </tr> 
 <tr> 
 <td> mapred.temp.dir </td> 
 <td> mapreduce.cluster.temp.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.text.key.comparator.options </td> 
 <td> mapreduce.partition.keycomparator.options </td> 
 </tr> 
 <tr> 
 <td> mapred.text.key.partitioner.options </td> 
 <td> mapreduce.partition.keypartitioner.options </td> 
 </tr> 
 <tr> 
 <td> mapred.textoutputformat.separator </td> 
 <td> mapreduce.output.textoutputformat.separator </td> 
 </tr> 
 <tr> 
 <td> mapred.tip.id </td> 
 <td> mapreduce.task.id </td> 
 </tr> 
 <tr> 
 <td> mapreduce.combine.class </td> 
 <td> mapreduce.job.combine.class </td> 
 </tr> 
 <tr> 
 <td> mapreduce.inputformat.class </td> 
 <td> mapreduce.job.inputformat.class </td> 
 </tr> 
 <tr> 
 <td> mapreduce.job.counters.limit </td> 
 <td> mapreduce.job.counters.max </td> 
 </tr> 
 <tr> 
 <td> mapreduce.jobtracker.permissions.supergroup </td> 
 <td> mapreduce.cluster.permissions.supergroup </td> 
 </tr> 
 <tr> 
 <td> mapreduce.map.class </td> 
 <td> mapreduce.job.map.class </td> 
 </tr> 
 <tr> 
 <td> mapreduce.outputformat.class </td> 
 <td> mapreduce.job.outputformat.class </td> 
 </tr> 
 <tr> 
 <td> mapreduce.partitioner.class </td> 
 <td> mapreduce.job.partitioner.class </td> 
 </tr> 
 <tr> 
 <td> mapreduce.reduce.class </td> 
 <td> mapreduce.job.reduce.class </td> 
 </tr> 
 <tr> 
 <td> mapred.used.genericoptionsparser </td> 
 <td> mapreduce.client.genericoptionsparser.used </td> 
 </tr> 
 <tr> 
 <td> mapred.userlog.limit.kb </td> 
 <td> mapreduce.task.userlog.limit.kb </td> 
 </tr> 
 <tr> 
 <td> mapred.userlog.retain.hours </td> 
 <td> mapreduce.job.userlog.retain.hours </td> 
 </tr> 
 <tr> 
 <td> mapred.working.dir </td> 
 <td> mapreduce.job.working.dir </td> 
 </tr> 
 <tr> 
 <td> mapred.work.output.dir </td> 
 <td> mapreduce.task.output.dir </td> 
 </tr> 
 <tr> 
 <td> min.num.spills.for.combine </td> 
 <td> mapreduce.map.combine.minspills </td> 
 </tr> 
 <tr> 
 <td> reduce.output.key.value.fields.spec </td> 
 <td> mapreduce.fieldsel.reduce.output.key.value.fields.spec </td> 
 </tr> 
 <tr> 
 <td> security.job.submission.protocol.acl </td> 
 <td> security.job.client.protocol.acl </td> 
 </tr> 
 <tr> 
 <td> security.task.umbilical.protocol.acl </td> 
 <td> security.job.task.protocol.acl </td> 
 </tr> 
 <tr> 
 <td> sequencefile.filter.class </td> 
 <td> mapreduce.input.sequencefileinputfilter.class </td> 
 </tr> 
 <tr> 
 <td> sequencefile.filter.frequency </td> 
 <td> mapreduce.input.sequencefileinputfilter.frequency </td> 
 </tr> 
 <tr> 
 <td> sequencefile.filter.regex </td> 
 <td> mapreduce.input.sequencefileinputfilter.regex </td> 
 </tr> 
 <tr> 
 <td> session.id </td> 
 <td> dfs.metrics.session-id </td> 
 </tr> 
 <tr> 
 <td> slave.host.name </td> 
 <td> dfs.datanode.hostname </td> 
 </tr> 
 <tr> 
 <td> slave.host.name </td> 
 <td> mapreduce.tasktracker.host.name </td> 
 </tr> 
 <tr> 
 <td> tasktracker.contention.tracking </td> 
 <td> mapreduce.tasktracker.contention.tracking </td> 
 </tr> 
 <tr> 
 <td> tasktracker.http.threads </td> 
 <td> mapreduce.tasktracker.http.threads </td> 
 </tr> 
 <tr> 
 <td> topology.node.switch.mapping.impl </td> 
 <td> net.topology.node.switch.mapping.impl </td> 
 </tr> 
 <tr> 
 <td> topology.script.file.name </td> 
 <td> net.topology.script.file.name </td> 
 </tr> 
 <tr> 
 <td> topology.script.number.args </td> 
 <td> net.topology.script.number.args </td> 
 </tr> 
 <tr> 
 <td> user.name </td> 
 <td> mapreduce.job.user.name </td> 
 </tr> 
 <tr> 
 <td> webinterface.private.actions </td> 
 <td> mapreduce.jobtracker.webinterface.trusted </td> 
 </tr> 
 <tr> 
 <td> yarn.app.mapreduce.yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts </td> 
 <td> yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts </td> 
 </tr> 
 <tr> 
 <td> yarn.client.app-submission.poll-interval </td> 
 <td> yarn.client.application-client-protocol.poll-timeout-ms </td> 
 </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/meizhoulqp/p/11178030.html

[http_192.168.56.104_50070]: http://192.168.56.104:50070
[https_github.com_steveloughran_winutils_releases]: https://github.com/steveloughran/winutils/releases