Hadoop伪分布式 => 配置日志聚集

短命女 2023-07-22 14:25 137阅读 0赞

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览

> 注意：开启日志聚集功能 ，需要重新启动 NodeManager, ResourceManager, HistoryManager

sbin/mr-jobhistory-daemon.sh stop historyserver  
sbin/yarn-daemon.sh stop nodemanager  
sbin/yarn-daemon.sh stop resourcemanager

cd /opt/module/hadoop-2.9.2

sudo vim etc/hadoop/yarn-site.xml

在<configuration></configuration>中间加入下面内容

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

**启动集群：**

sbin/yarn-daemon.sh start nodemanager  
sbin/yarn-daemon.sh start resourcemanager  
sbin/mr-jobhistory-daemon.sh start historyserver

删除输出文件夹：

bin/hdfs dfs -rm -r /user/atguigu/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/atguigu/input /user/atguigu/output

查看logs

![20200406110951620.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70][]

[20200406110951620.png]: /images/20230528/1765ac2a18604b7aadc3ddf32abb93d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70]: /images/20230528/976d0599e15e4765a74ec5225857c22c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，137人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop部署伪分布式

伪分布式模式也是只需要一台机器，但是与本地模式的不同，伪分布式使用的是分布式的思想，具有完整的分布式文件存储和分布式计算的思想。只不过在进行存储和计算的时候涉及到的相关的守护进

朱雀/ 2023年10月10日 21:46/ 0 赞/ 75 阅读

相关 Hadoop伪分布式 => 配置日志聚集

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览 > 注意：开启日志聚集功能，需要重新启动 NodeManager, ResourceM

短命女/ 2023年07月22日 14:25/ 0 赞/ 138 阅读

相关 Hadoop安装教程_单机/伪分布式配置

转载自[Hadoop安装教程\_单机/伪分布式配置\_CentOS6.4/Hadoop2.6.0][Hadoop_CentOS6.4_Hadoop2.6.0] 本 Hadoo

约定不等于承诺〃/ 2022年08月21日 00:18/ 0 赞/ 202 阅读

相关 hadoop伪分布式安装

8. Hadoop 在ubuntu 系统中的安装 8.1 伪分布式安装 8.1.1 设置无密码登陆 1、Ubuntu默认安装了SSH clien

末蓝、/ 2022年06月14日 12:14/ 0 赞/ 281 阅读

相关 centos7配置hadoop伪分布式

1.停止防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 2.s

今天药忘吃喽~/ 2022年06月14日 01:19/ 0 赞/ 238 阅读

相关 Hadoop之配置伪分布式集群

1、配置Hadoop环境变量 [hadoop@bigdata-senior01 hadoop] vim /etc/profile 追加配置： expo

Dear 丶/ 2022年06月02日 05:09/ 0 赞/ 241 阅读

相关【Hadoop】配置环境-伪分布式

[【Hadoop】配置环境-伪分布式][Hadoop_-] > 目录 > > 1.Linux设置静态IP地址 > 2.修改主机名和映射文件 > 3

深藏阁楼爱情的钟/ 2022年04月24日 04:34/ 0 赞/ 331 阅读

相关伪分布式问题二（配置日志服务）

伪分布式问题二（配置日志服务） 1.引出 1.1点击logs无法显示日志信息 2.解决 2.1配置yarn-site.xml

小鱼儿/ 2022年04月06日 04:40/ 0 赞/ 203 阅读

相关 Hadoop伪分布式安装

下载地址：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html] 下载2

妖狐艹你老母/ 2022年03月09日 07:42/ 0 赞/ 343 阅读

相关 hadoop 伪分布式配置关键点

配置hadoop 的环境变量（所有的环境变量都是必须的） su vim /etc/profile export HADOOP\_INSTALL=/usr/

Love The Way You Lie/ 2021年09月11日 04:54/ 0 赞/ 530 阅读