hadoop yarn如何启动聚合日志

比眉伴天荒 2024-02-19 15:09 12阅读 0赞

yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下

### 一：在yarn-site.xml文件中添加日志监控支持 ###

该配置中添加下面的配置：

</property>
            
            <property>
                    <name>yarn.nodemanager.remote-app-log-dir</name>
                    <value>/tmp/logs</value>
            </property> 
             <property>
                    <name>yarn.nodemanager.resource.memory-mb</name>
                    <value>4096</value>
            </property>
             <property>
                    <name>yarn.scheduler.minimum-allocation-mb</name>
                    <value>2048</value>
            </property>
            <property>
                    <name>yarn.scheduler.maximum-allocation-mb</name>
                    <value>4096</value>
            </property>
            <property>
                    <name>yarn.nodemanager.vmem-pmem-ratio</name>
                    <value>5</value>
            </property>

### 二、在mapred-site.xml文件中添加日志服务的配置 ###

<property>
        
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      
        <name>mapreduce.jobhistroy.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistroy.webapp.address</name>
        <value>master:19888</value>
    </property>

### 三、将修改后的配置文件拷贝到集群中的其他机器 ###

### 四、重新启动集群的Hdfs和Yarn服务 ###

./start-all.sh

五、 开启日志监控服务进程  
在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令，执行完成后使用jps命令查看是否启动成功，若启动成功则会显示出JobHistoryServer服务

[hadoop@hadoop001 hadoop]$ jps
    28144 NameNode
    28433 SecondaryNameNode
    31062 Jps
    28582 ResourceManager
    28682 NodeManager
    28269 DataNode
    29469 JobHistoryServer