0060-mapreduce程序的三种提交方式

港控/mmm° 2023-07-14 10:58 6阅读 0赞

### 文章目录 ###

*   *   *  1. 第一种Hadoop jar
         *  2. 第二种Main方法直接运行，提交本地jvm
         *  3. 第三种Main方法直接提交到Yarn集群分发

### 1. 第一种Hadoop jar ###

这种方式将写好的mapper reducer程序打包提交到集群中运行，这种方式也是最终的运行方式，但是不方便调试代码逻辑。

### 2. 第二种Main方法直接运行，提交本地jvm ###

起作用的依赖

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>3.2.0</version>
    </dependency>

文件的输入和输出路径可以是本地也可以hdfs，取决于fs.defaultFS的配置（如果是hdfs路径需要将core-site.xml和hdfs-site.xml文件拷贝到resources目录下）

### 3. 第三种Main方法直接提交到Yarn集群分发 ###

提交集群还是本地jvm取决于RUNJar产生的客户端，而客户端的产生取决于mapreduce-framework.name的配置，如果配置为yarn那么就会产生一个向Resourcer-Manage提交的客户端，否者就是提交本地jvm。

3.1 起作用的依赖

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>3.2.0</version>
    </dependency>

3.2 需要拷贝mapreduc-site.xml文件和yarn-site.xml文件到resources

3.3 添加jar包  
在job类中添加配置

conf.set("mapreduce.job.jar","/home/rongyao/workspace/hadoop/mr/target/wc.jar");

3.4 测试方式  
如何区分是提交jvm执行还是提交yarn集群执行

1.  可以通过执行时间判断，本地执行比yarn集群执行快很多；
2.  提交到集群执行，nodemanager节点开始会增加MRAppMaster进程，后面会增加YarnChild进程  
    ![在这里插入图片描述][20200314172010260.png]  
    ![在这里插入图片描述][20200314172102162.png]

[20200314172010260.png]: /images/20230529/4fd34496e82f4a43b93e4357361dfe10.png
[20200314172102162.png]: /images/20230529/2e18f49d359e466ebf80eeb026a833a8.png