hadoop—集群配置历史服务器及访问历史服务器日志

野性酷女 2022-02-20 04:29 713阅读 0赞

## Hadoop历史服务器 ##

>  Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器

**历史服务器开启**  `mr-jobhistory-daemon.sh start historyserver`

**配置历史服务器**

> 在配置文件前需要注意的一点就是先把进程打开 [start-all.sh][]，不然是访问不到网页的

1.  首先根目录创建一个目录文件夹  
    ![在这里插入图片描述][20190412150505912.png]
2.  运行 一 个wordcount 程序 图中标注有详细步骤  
    ![在这里插入图片描述][20190412150523981.png]
3.  在web端网页观察 yarn 的页面 ip地址为 主机名:8088  
    注：如果进入网页没有application说明配置文件有问题，仔细查看 集群配置文件内容  **进入有详细配置文件代码** [全分布式集群搭建][Link 1]  
    ![在这里插入图片描述][2019041215053121.png]
4.  历史服务器 是mapred-site.xml文件  
    [全分布式集群搭建][Link 1] 有配置文件代码及详细步骤  
    ![在这里插入图片描述][20190412151047221.png]
    
        <configuration>
        	<property>
        		<name>mapreduce.framework.name</name>
        		<value>yarn</value>
        		<final>true</final>
        	</property>
        	
        	<property>
        		<name>mapreduce.jobhistory.address</name>
        		
        		<value>hadoop:10020</value>
        	</property>
        	
        	<property>
        		<name>mapreduce.jobhistory.webapp.address</name>
        		
        		<value>hadoop:19888</value>
        	</property>
        	</configuration>
    
    记得集群机器都得配置，如果配过了就不需要在配置了
5.  日志聚合 在yarn-site.xml 文件  
    [全分布式集群搭建][Link 1] 有配置文件代码及详细步骤
    
        <property>  
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        		
        </property>
         <property>  
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/hadoop/logs</value>
        		
        </property>
    
    注：每台机器都得配置
6.  配置完毕以后 重启yarn 进程 如果进程已开 则先执行 `stop-yarn.sh` 在执行`start-yarn.sh`
7.  启动历史服务器

*  开启jobhistory进程执行：`mr-jobhistory-daemon.sh start historyserver`
 *  关闭jobhistory进程执行：`mr-jobhistory-daemon.sh stop historyserver`

1.  点开进入yarn网页端 ip地址为 主机名:8088  
    若页面没有application 再次重新执行一次 wordcount 程序  
    注：第2点有详细步骤  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 1]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 2]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 3]
2.  如果在点击 history 历史记录进入的时候，报 Not found 找不到什么之类的问题时，重新启动历史服务器的进程就好了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 4]

[start-all.sh]: http://start-all.sh
[20190412150505912.png]: /images/20220220/5f6c9c4407a041c6a426a04ed47a1b93.png
[20190412150523981.png]: /images/20220220/21f66508686c4659b0ea76cbc47909af.png
[Link 1]: https://blog.csdn.net/qq_43412289/article/details/89195341
[2019041215053121.png]: /images/20220220/6f1798a98f584ff19ef860006e7c9e38.png
[20190412151047221.png]: /images/20220220/23ca28c3a7b7404aac35ec86fafd7481.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]: /images/20220220/6002432ff52e4133b91e724810974981.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 1]: /images/20220220/c762dfcfcc4c42ec8235e7c72f3fba2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190412151909947.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 3]: /images/20220220/d6a874d2c8604fb1b0eb9a406cc2ff66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 4]: /images/20220220/4db3475784c641a2b568fc88b412bddf.png