Hadoop使用jar运行实例

偏执的太偏执、 2022-07-24 12:11 131阅读 0赞

一、.在eclipse中使用编写程序，然后打成jar包，

程序代码：

package tju.chc;
    
    import java.io.File;
    import java.io.IOException;
    import java.util.Scanner;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    public class ResultFilter {
    
    	public static void main(String[] args) throws IOException{
    		Configuration conf = new Configuration();
    		//以下两句中，hdfs和local分别对应HDFS实例和本地文件系统实例
    		FileSystem hdfs = FileSystem.get(conf);
    		FileSystem local = FileSystem.getLocal(conf);
    		
    		Path inputDir , localFile;
    		
    		FileStatus[] inputFiles;
    		FSDataOutputStream out = null;
    		FSDataInputStream in = null;
    		
    		Scanner scan;
    		String str;
    		byte[] buf;
    		int singleFileLines;
    		int numLines, numFiles, i;
    		
    		if(args.length != 4) {
    			//输入参数数量不够，提示参数格式后终止程序执行
    			System.out.println("usage resultFilter <dfs path><local path><match str><single file lines>");
    			return;
    		}
    		
    		inputDir = new Path(args[0]);
    		singleFileLines = Integer.parseInt(args[3]);
    		
    		inputFiles = hdfs.listStatus(inputDir);
    		numLines = 0;
    		numFiles = 1;
    		localFile = new Path(args[1]);
    		if(local.exists(localFile)){
    			local.delete(localFile, true);
    		}
    		for(i = 0; i < inputFiles.length; i++){
    			if(inputFiles[i].isDirectory() == true){
    				continue;
    			}
    			System.out.println(inputFiles[i].getPath().getName());
    			in = hdfs.open(inputFiles[i].getPath());
    			scan = new Scanner(in);
    			while(scan.hasNext()){
    				str = scan.nextLine();
    				if(str.indexOf(args[2]) == -1){
    					continue;
    				}
    				numLines++;
    				if(numLines == 1){
    					localFile = new Path(args[1] + File.separator + numFiles);
    					out = local.create(localFile);
    					numFiles++;
    				}
    				buf = (str + "\n").getBytes();
    				out.write(buf, 0 , buf.length);
    				if(numLines == singleFileLines){
    					out.close();
    					numLines = 0;
    				}
    				
    			}
    			scan.close();
    			in.close();
    		}
    		if(out != null){
    			out.close();
    		}
    		
    		
    	}
    }

打包可参考

转自http://www.cnblogs.com/mq0036/p/3885407.html

1、首先要确认自己写的程序有没有报错。

2、第一次我写的是Web Project到现在，我一直没有执行成功，所以最好创建的是java Project

打包步骤：

1.在项目上，右键，选择Export。

![011655202587301.gif][]

2.进入到下图界面，选择Java 下面的JAR file

![011657379157112.gif][]

3.选择项目，确认必要的文件是否选中，选择保存jar文件包的路径，如下图

![011657501807732.gif][]

4.完成步骤3之后，点击Next，进入如下图界面：

![011658238053694.gif][]

5.直接点Next，进入下面的界面：

![011658366805727.gif][]

6.直接点Finish，jar文件包完成。

备注：

1.可以根据自己的需要选择一些条件。  
2.打开jar文件包下面的META-INF\\MANIFEST.MF这个文件，查看信息是否正确。

![011659550081497.gif][]

Class-Path:这个导入的是，本项目需要的一些其他的jar文件包

Main-Class:这个是main()方法所在的类的.class文件的路径，并且在最后有个回车符（如：上面显示的是，main()方法在test包下面的PostgresSQLSync类中。）

在windows下面运行jar包，确认导出的jar包是否存在问题：

1.打开DOS命令：通过cd切换到本项目路径下，然后，输入java -jar xxx.jar。

如果输入的信息，和运行项目时，在控制台输出的信息一样，就表示jar文件包已经完成。

下面是我碰到的一些问题：

1.在DOS命令中，出现如下错误时，表示Main-Class没有在META-INF\\MANIFEST.MF这个文件中配置。

![011700176652108.gif][]

2.在DOS命令中，出现如下错误时，表示在Class-Path:或者在Main-Class:后面没有输入空格。

![011700233527105.gif][]

二、进入hadoop根目录，运行

bin/hadoop jar  ~/local/chc/resultFilter.jar  tju/chc/ResultFilter  hdfs://master:9000/test/input/   file:///home/hadoopuser1/local/chc/tmp/    txt    50

注意，

1、运行命令前确保，hdfs已启动。 启动命令： bin/start-dfs.sh （sbin/start-dfs.sh） 或者 sbin/start-all.sh (hadoop 2.6.4版本)

2、运行过程可能会遇到权限问题

[011655202587301.gif]: /images/20220722/5ccee1cb5a0e41d98e61e96d8231f99f.png
[011657379157112.gif]: /images/20220722/15fff90a0f1740c3856af516e2bf8834.png
[011657501807732.gif]: /images/20220722/c479d38e68604378a64e91a50c8ae942.png
[011658238053694.gif]: /images/20220722/df636c63dd0d4ebda82562eb39dc8e08.png
[011658366805727.gif]: /images/20220722/1dabe6ab14ee4378bbeab82cc14a4ee0.png
[011659550081497.gif]: /images/20220722/cc628916ccd1471586b6e6ba9de77fa6.png
[011700176652108.gif]: /images/20220722/966864519017488eb7ae0b15b97b2c11.png
[011700233527105.gif]: /images/20220722/4a330ff18d3b48d79efeb934b0c12352.png