JobHistory

我就是我 2022-05-16 11:21 96阅读 0赞

# **JobHistory** #

### **JobHistory是什么** ###

*  JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml、yarn-site.xml配置，并手动启动。

### **JobHistory怎么用** ###

*  mapred-site.xml配置中添加
    
     
    
        <property> <name>mapreduce.jobhistory.address</name> <value>hadoop01:10020</value> <description>MapReduce JobHistory Server IPC host:port</description> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop01:19888</value> <description>MapReduce JobHistory Server Web UI host:port</description> </property> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/history/done</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/history/done_intermediate</value> </property>
 *  yarn-site.xml配置中添加
    
     
    
        <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
 *  手动启动
    
     
    
        1. 定位到hadoop的sbin下 2. sh mr-jobhistory-daemon.sh start historyserver

### **执行一个mapreduce实例** ###

*  定位到hadoop的/share/hadoop/mapreduce下
 *  执行一个实例
    
     *  hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

### **查看日志** ###

*  ![hAnw3KI.png][]
 *  ![w4wMGtq.png][]
 *  ![r8X2frt.png][]
 *  ![TOaHD97.png][]
 *  ![SpW9TEj.png][]

[hAnw3KI.png]: https://i.imgur.com/hAnw3KI.png
[w4wMGtq.png]: https://i.imgur.com/w4wMGtq.png
[r8X2frt.png]: https://i.imgur.com/r8X2frt.png
[TOaHD97.png]: https://i.imgur.com/TOaHD97.png
[SpW9TEj.png]: https://i.imgur.com/SpW9TEj.png

JobHistory

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 (13)Hadoop JobHistory

相关 JobHistory

相关 Yarn的JobHistory目录权限问题导致MapReduce作业异常