Hadoop打Jar 及运行jar

布满荆棘的人生 2022-06-05 07:36 167阅读 0赞

## Hadoop打Jar ##

首先 无论哪种方式  
job.setJarByClass(WordCountDriver.class);要有。

**maven 方式：**  
首先添加pom依赖 指定主类

<build>
        <plugins>
          
          <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
              <source>1.8</source>
              <target>1.8</target>
            </configuration>
          </plugin>
          
          <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.4.1</version>
            <configuration>
              <archive>
                <manifest>
                               <mainClass>wordcount.WordCountDriver</mainClass>
                </manifest>
              </archive>
              <descriptorRefs>
                <descriptorRef>jar-with-dependencies</descriptorRef>
              </descriptorRefs>
            </configuration>
            <executions>
              <execution>
                <id>make-assembly</id>
                <phase>package</phase>
                <goals>
                  <goal>single</goal>
                </goals>
              </execution>
            </executions>
          </plugin>
        </plugins>
    
      </build>

然后 maven install 运行容量比较大的那个jar

//指定要处理的数据所在目录
            FileInputFormat.setInputPaths(job,new Path("hdfs://hadoop01:9000/wordcount"));
            //指定处理完的数据存放目录
            FileOutputFormat.setOutputPath(job,new Path("hdfs://hadoop01:9000/result"));

其次 如果有命名空间 这样也可以 免得运行一半主节点倒了

//指定要处理的数据所在目录
            FileInputFormat.setInputPaths(job,new Path("hdfs://命名空间名称/wordcount"));
            //指定处理完的数据存放目录
            FileOutputFormat.setOutputPath(job,new Path("hdfs://命名空间名称/result"));
    //注意 没有9000端口

运行 jar包  
hadoop jar \*\*.jar