hadoop2.x的配置二

古城微笑少年丶 2022-01-17 02:49 221阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][]

三、yarn-site.xml

1.ResourceManager的配置，参考：[Hadoop YARN配置参数剖析(1)—RM与NM相关参数][Hadoop YARN_1_RM_NM]

！yarn.resourcemanager.ha.enabled=false。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
    </property>

！yarn.resourcemanager.ha.rm-ids=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
    </property>

！yarn.resourcemanager.ha.id=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.ha.id</name>
     <value>rm1</value>
    </property>

注意：此配置在不同的机器上ResourceManager是不一样的，在另外一台ResourceManger，值就是rm2了，而在别的NodeManger上，这一项就需要删除，不配置。

！yarn.resourcemanager.hostname.rm1=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>bigdata1</value>
    </property>

！yarn.resourcemanager.hostname.rm2=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>bigdata2</value>
    </property>

！yarn.resourcemanager.recovery.enabled=false。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.recovery.enabled</name>
     <value>true</value>
    </property>

！yarn.resourcemanager.store.class=org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.store.class</name>
     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

！yarn.resourcemanager.zk-address=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>bigdata2:2181,bigdata3:2181,bigdata4:2181</value>
    </property>

！yarn.resourcemanager.cluster-id=。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>yarn-cluster</value>
    </property>

！yarn.resourcemanager.ha.automatic-failover.enabled=true。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
     <value>true</value>
    </property>

！yarn.resourcemanager.ha.automatic-failover.zk-base-path=/yarn-leader-election。

非YARN HA时，这个属性应该用不上，所以使用默认配置。

YARN HA使用默认配置

！yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider。

非YARN HA使用默认配置

YARN HA使用默认配置

注意：此处不能使用RMFailoverProxyProvider，因为RMFailoverProxyProvider是个接口，会提示找不到init方法。

！yarn.resourcemanager.hostname=0.0.0.0。

非YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>master</value>
    </property>

YARN HA使用默认配置

配置好yarn.resourcemanager.hostname，后面很多配置默认都需要使用到此属性，是指ResourceManager的地址。

注意：hadoop2.0.0版本没有此属性。

！yarn.resourcemanager.address=$\{yarn.resourcemanager.hostname\}:8032。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.address.rm1</name>
     <value>bigdata1:23140</value>
    </property>
    <property>
     <name>yarn.resourcemanager.address.rm2</name>
     <value>bigdata2:33140</value>
    </property>

ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。

注意：hadoop2.0.0版本默认值为0.0.0.0:8032，可改为：master:8032。

！yarn.resourcemanager.scheduler.address=$\{yarn.resourcemanager.hostname\}:8030。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.scheduler.address.rm1</name>
     <value>bigdata1:23130</value>
    </property>
    <property>
     <name>yarn.resourcemanager.scheduler.address.rm2</name>
     <value>bigdata2:33130</value>
    </property>

ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

注意：hadoop2.0.0版本默认值为0.0.0.0:8030，可改为：master:8030。

！yarn.resourcemanager.resource-tracker.address=$\{yarn.resourcemanager.hostname\}:8031。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
     <value>bigdata1:23125</value>
    </property>
    <property>
     <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
     <value>bigdata2:33125</value>
    </property>

ResourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳，领取任务等。

注意：hadoop2.0.0版本默认值为0.0.0.0:8031，可改为：master:8031。

！yarn.resourcemanager.webapp.address=$\{yarn.resourcemanager.hostname\}:8088。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.webapp.address.rm1</name>
     <value>bigdata1:23188</value>
    </property>
    <property>
     <name>yarn.resourcemanager.webapp.address.rm2</name>
     <value>bigdata2:33188</value>
    </property>

ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息。

注意：hadoop2.0.0版本默认值为0.0.0.0:8088，可改为：master:8088。

！yarn.resourcemanager.admin.address=$\{yarn.resourcemanager.hostname\}:8033。

非YARN HA使用默认配置

YARN HA使用如下配置

<property>
     <name>yarn.resourcemanager.admin.address.rm1</name>
     <value>bigdata1:23141</value>
    </property>
    <property>
     <name>yarn.resourcemanager.admin.address.rm2</name>
     <value>bigdata2:33141</value>
    </property>

ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。

注意：hadoop2.0.0版本默认值为0.0.0.0:8033，可改为：master:8033。

！yarn.resourcemanager.webapp.https.address=$\{yarn.resourcemanager.hostname\}:8090，推荐使用默认配置。

ResourceManager对外的https地址。

注意：hadoop2.0.0版本默认值为0.0.0.0:8090，可改为：master:8090。

！yarn.resourcemanager.nodemanagers.heartbeat-interval-ms=1000，推荐使用默认配置。

NodeManager心跳间隔，单位为ms。

注意：hadoop2.0.0版本没有此属性。

2.NodeManager的配置，参考：[Hadoop YARN配置参数剖析(1)—RM与NM相关参数][Hadoop YARN_1_RM_NM]

2.1.yarn.nodemanager.aux-services=，推荐使用如下配置。

<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
    </property>

NodeManager上运行的附属服务。需配置成mapreduce\_shuffle，才可运行MapReduce程序。注意在hadoop2.0.0版本配置成mapreduce.shuffle，hadoop2.2.0版本以后配置成mapreduce\_shuffle，具体参照官方文档。

注意：hadoop2.0.0版本默认值为空，可改为：mapreduce.shuffle。

参考：[关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项][hadoop-2.2 _ yarn.nodemanager.aux-services]

2.2.yarn.nodemanager.local-dirs=$\{hadoop.tmp.dir\}/nm-local-dir，此目录是本地目录。推荐使用默认配置。

中间结果存放位置，类似于1.0中的mapred.local.dir。注意，这个参数通常会配置多个目录，已分摊磁盘IO负载。

2.3.yarn.nodemanager.log-dirs=$\{yarn.log.dir\}/userlogs，此目录是本地目录。推荐使用如下配置。

<property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>${hadoop.tmp.dir}/userlogs</value>
    </property>

job运行日志存放地址（可配置多个目录）。如果此处需要使用默认值，则最好在yarn-env.sh配置yarn.log.dir变量，在yarn-env.sh中，默认是yarn.log.dir=$YARN\_HOME/logs

2.4.yarn.nodemanager.log.retain-seconds=10800，推荐使用如下配置。（如果启用了日志聚集功能，推荐使用默认设置）

<property>
     <name>yarn.nodemanager.log.retain-seconds</name>
     <value>864000</value>
    </property>

单位为秒，默认是3个小时，864000秒是10天。NodeManager上日志最多存放时间（只有在不启用日志聚集功能时有效）。如果服务器没有持续运行，这部分的日志是不怎么会删的。

3.yarn.application.classpath=$HADOOP\_CONF\_DIR,$HADOOP\_COMMON\_HOME/share/hadoop/common/\*,$HADOOP\_COMMON\_HOME/share/hadoop/common/lib/\*,$HADOOP\_HDFS\_HOME/share/hadoop/hdfs/\*,$HADOOP\_HDFS\_HOME/share/hadoop/hdfs/lib/\*,$HADOOP\_YARN\_HOME/share/hadoop/yarn/\*,$HADOOP\_YARN\_HOME/share/hadoop/yarn/lib/\*，推荐使用如下配置。

<property>
     <name>yarn.application.classpath</name>
     <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*,$HADOOP_YARN_HOME/share/hadoop/mapreduce/*,$HADOOP_YARN_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>

相比于默认配置，此配置在最后加上了mapreduce下的包，防止某些应用（mapreduce应用，hive）提示包找不到的错误。此配置在window和linux的默认配置是不一样的，看官方的默认配置文件。

4.日志聚集的配置，参考：[Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数][Hadoop YARN_2]

日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负 载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配 置。

4.1.yarn.log-aggregation-enable=false，推荐使用如下配置。

<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>

是否启用日志聚集功能。

4.2.yarn.log-aggregation.retain-seconds=-1，推荐使用如下配置。

<property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>864000</value>
    </property>

单位为秒？864000秒是10天。在HDFS上聚集的日志最多保存多长时间。

4.3.yarn.log-aggregation.retain-check-interval-seconds=-1，推荐使用默认配置。

多长时间检查一次日志，并将满足条件的删除，如果是0或者负数，则为上一个值的1/10，即yarn.log-aggregation.retain-seconds值的1/10。

注意：hadoop2.0.0版本没有此属性。

4.4.yarn.nodemanager.remote-app-log-dir=/tmp/logs，此目录是hdfs目录。推荐使用如下配置。

<property>
     <name>yarn.nodemanager.remote-app-log-dir</name>
     <value>/tmp/hadoop-yarn/aggrelogs</value>
    </property>

当应用程序运行结束后，日志被转移到的HDFS目录（启用日志聚集功能时有效）。

4.5.yarn.nodemanager.remote-app-log-dir-suffix=logs，此目录是hdfs目录。推荐使用默认配置。

远程日志目录子目录名称（启用日志聚集功能时有效）。

四、mapred-site.xml

1.mapreduce.framework.name=local，推荐使用如下配置。

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>

2.yarn.app.mapreduce.am.staging-dir=/tmp/hadoop-yarn/staging，此目录是hdfs目录。推荐使用默认配置。

是job运行时的临时文件夹，后面历史服务器会用到此目录。

3.jobhistory server的配置，jobhistory server是yarn集群跑的job的一些信息，不包含任务运行日志！你可以将jobhistory server运行在slave机器上，减轻master的负担。

3.1.mapreduce.jobhistory.address=0.0.0.0:10020，推荐使用如下配置。

<property>
     <name>mapreduce.jobhistory.address</name>
     <value>slave1:10020</value>
    </property>

3.2.mapreduce.jobhistory.webapp.address=0.0.0.0:19888，推荐使用如下配置。

<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>slave1:19888</value>
    </property>

3.3.mapreduce.jobhistory.done-dir=$\{yarn.app.mapreduce.am.staging-dir\}/history/done，此目录是hdfs目录。推荐使用默认配置。

已完成的job信息存储的目录。

注意：hadoop2.0.0版本没有此属性。

3.4.mapreduce.jobhistory.intermediate-done-dir=$\{yarn.app.mapreduce.am.staging-dir\}/history/done\_intermediate，此目录是hdfs目录。推荐使用默认配置。

正在执行的job信息的存储目录。

注意：hadoop2.0.0版本没有此属性。

参考：[配置hadoop的jobhistory服务器][hadoop_jobhistory]

转载于:https://my.oschina.net/cjun/blog/496210

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220117/b539dc76d36a412c80b4a4eaf3de2e66.png
[Hadoop YARN_1_RM_NM]: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/
[hadoop-2.2 _ yarn.nodemanager.aux-services]: http://demo.netfoucs.com/samhacker/article/details/18542487
[Hadoop YARN_2]: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/
[hadoop_jobhistory]: http://my.oschina.net/cjun/blog/486239