伪分布式的搭建（YARN上运行MapReduce 程序）

水深无声 2022-04-06 03:58 188阅读 0赞

### 伪分布式的搭建（YARN上运行MapReduce 程序） ###

*  1.配置
 *   *  1.1在当前目录下：
     *  1.2配置yarn-env.sh
     *  1.3配置yarn-site.xml
     *  1.4配置：mapred-env.sh
     *  1.5配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
 *  2.启动集群
 *   *  2.1在当前目录下
     *  2.2确保NameNode和DataNode已经启动
     *  2.3启动ResourceManager
     *  2.4启动NodeManager
     *  2.5查看启动情况
 *  3.测试
 *   *  3.1YARN的浏览器页面查看
     *  3.2如果文件系统上存在output文件则删除
     *  3.3执行MapReduce程序
     *  3.4查看运行结果

# 1.配置 #

## 1.1在当前目录下： ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]

## [1.2配置yarn-env.sh][1.2_yarn-env.sh] ##

执行命令：vim [yarn-env.sh][]  
添加如下文本：export JAVA\_HOME=/opt/module/jdk1.8.0\_144  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]

## 1.3配置yarn-site.xml ##

执行如下命令：vim yarn-site.xml  
在其中添加：

<property>
     		<name>yarn.nodemanager.aux-services</name>
     		<value>mapreduce_shuffle</value>
    </property>
    
    
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
    </property>

## 1.4配置：[mapred-env.sh][] ##

执行命令：vim [mapred-env.sh][]  
添加如下文本：export JAVA\_HOME=/opt/module/jdk1.8.0\_144  
![在这里插入图片描述][2018120808513257.png]

## 1.5配置： (对mapred-site.xml.template重新命名为) mapred-site.xml ##

先执行命令：mv mapred-site.xml.template mapred-site.xml  
再执行命令:vim mapred-site.xml  
添加如下文本：

<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    </property>

# 2.启动集群 #

## 2.1在当前目录下 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 2]

## 2.2确保NameNode和DataNode已经启动 ##

执行命令：jps  
![在这里插入图片描述][20181207195707824.png]

## 2.3启动ResourceManager ##

执行命令：sbin/yarn-daemon.sh start resourcemanager

## 2.4启动NodeManager ##

执行命令：sbin/yarn-daemon.sh start nodemanager

## 2.5查看启动情况 ##

执行命令：jsp  
![在这里插入图片描述][20181207195910697.png]

# 3.测试 #

## 3.1YARN的浏览器页面查看 ##

在浏览器输入：http://\[服务器ip地址\].101:8088/cluster  
![在这里插入图片描述][20181207200132129.png]

## 3.2如果文件系统上存在output文件则删除 ##

执行命令：bin/hdfs dfs -rm -R /user/lsl/output

## 3.3执行MapReduce程序 ##

执行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/lsl/input /user/lsl/output  
![在这里插入图片描述][20181207200237506.png]

## 3.4查看运行结果 ##

执行命令：bin/hdfs dfs -cat /user/lsl/output/\*  
![在这里插入图片描述][20181207200321710.png]

版权声明：本博客为记录本人自学感悟，转载需注明出处！  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220406/01ee4e9ca42e45bd937d2ea79302930c.png
[1.2_yarn-env.sh]: http://1.xn--2yarn-env-bj9x315l.sh
[yarn-env.sh]: http://yarn-env.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]: /images/20220406/04922ae4809a4fcf82cf91b565ba224c.png
[mapred-env.sh]: http://mapred-env.sh
[2018120808513257.png]: /images/20220406/624fad348dd84fb7851e811c69a647b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 2]: /images/20220406/f89ac9ca0f1644dab3c12397a9918192.png
[20181207195707824.png]: /images/20220406/e9b2f9331fcf44c28887bdb1cd250d5f.png
[20181207195910697.png]: /images/20220406/d813b9aa5eaa43e0bd526213d2260f32.png
[20181207200132129.png]: /images/20220406/f7144fa4d23644979fd85abec401d1bc.png
[20181207200237506.png]: /images/20220406/400b7d73ad90447b94ef65b2e19c0215.png
[20181207200321710.png]: /images/20220406/ad900d3d26c845ce9a9c9254e13a80de.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909