hdfs常见操作java示例

た入场券 2024-04-17 20:02 52阅读 0赞

我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。

这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。这里分为8个小部分，分别是：

1.  创建文件夹
2.  创建文件并写入内容
3.  查看文件内容
4.  重命名
5.  获取文件最后修改时间
6.  拷贝本地文件到hdfs
7.  追加内容到文件
8.  删除

这些示例，分别对应8个方法，这里先给出源代码：

package com.xxx.hadoop.hdfs;
    import java.io.IOException;
    import java.util.Date;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    /**
     * hdfs常见操作
     * @author hadoop
     *
     */
    public class HDFSMain {
    	
    	private static final Logger log = LoggerFactory.getLogger(HDFSMain.class);
    
    	/**
    	 * 创建文件夹
    	 * @param fs
    	 */
    	public static void mkdir(FileSystem fs) {
    		Path path = new Path("/user/root/hdfs");
    		try {
    			boolean exists = fs.exists(path);
    			if(!exists) {
    				log.info("path /user/root/hdfs doesn't exists.");
    				boolean status = fs.mkdirs(path);
    				log.info("mkdir success : "+status);
    			}else {
    				log.info("path /user/root/hdfs exists.");
    			}
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 创建文件并写入内容
    	 * @param fs
    	 */
    	public static void createFile(FileSystem fs) {
    		byte[] data = "hello,hdfs!\n".getBytes();
    		try {
    			Path path = new Path("/user/root/hdfs/20190830.txt");
    			FSDataOutputStream output = fs.create(path);
    			output.write(data);
    			output.close();
    			log.info("createFile done.");
    		}catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 读取文件内容
    	 * @param fs
    	 */
    	public static void readFile(FileSystem fs) {
    		Path path = new Path("/user/root/hdfs/20190830.txt");
    		try {
    			FSDataInputStream input = fs.open(path);
    			byte[] buffer = new byte[1024];
    			int result = input.read(buffer);
    			if(result!=-1) {
    				log.info("file content is : "+new String(buffer));
    			}
    			input.close();
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 重命名
    	 * @param fs
    	 */
    	public static void rename(FileSystem fs) {
    		Path path = new Path("/user/root/hdfs");
    		Path newPath = new Path("/user/root/2019");
    		try {
    			boolean status = fs.rename(path, newPath);
    			log.info("path /user/root/hdfs rename success "+status+".");;
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 获取文件最后修改时间
    	 * @param fs
    	 */
    	public static void getLastModificationTime(FileSystem fs) {
    		Path file = new Path("/user/root/2019/20190830.txt");
    		try {
    			FileStatus status = fs.getFileStatus(file);
    			long time = status.getModificationTime();
    			log.info("file "+file.getName()+" last modification time :"+new Date(time));
    		} catch (IOException e) {
    			e.printStackTrace();
    		}	
    	}
    	
    	/**
    	 * 拷贝本地文件到hdfs
    	 * @param fs
    	 */
    	public static void copyToHDFS(FileSystem fs) {
    		//Path src = new Path("/root/test.txt");
    		Path src = new Path("D:\\push.txt");
    		Path dst = new Path("/user/root/2019/");
    		try {
    			fs.copyFromLocalFile(src, dst);
    			log.info("copyFromLocal done.");
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 追加内容到文件
    	 * @param fs
    	 */
    	public static void appendToFile(FileSystem fs) {
    		byte[] data = "append for hdfs!\n".getBytes();
    		Path path = new Path("/user/root/2019/20190830.txt");
    		try {
    			FSDataOutputStream output = fs.append(path);
    			output.write(data);
    			output.close();
    			log.info("append to file ok.");
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	/**
    	 * 删除
    	 * @param fs
    	 */
    	public static void delete(FileSystem fs) {
    		Path path = new Path("/user/root/2019");
    		try {
    			boolean exists = fs.exists(path);
    			if(exists) {
    				boolean success = fs.delete(path,true);
    				log.info("path "+path.getName()+" delete successfully : "+success+".");
    			}
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    	
    	public static void main(String[] args) {
    		try {
    			System.setProperty("HADOOP_USER_NAME", "root");
    			Configuration conf = new Configuration();
    			conf.set("fs.defaultFS", "hdfs://192.168.56.202:9000");
    			conf.setBoolean("dfs.support.append", true);
    			conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
    			FileSystem fs = FileSystem.get(conf);
    			//1 mkdir
    			//mkdir(fs);
    			//2 createFile
    			//createFile(fs);
    			//3 readFile
    			//readFile(fs);
    			//4 rename
    			//rename(fs);
    			//5 getLastModificationTime
    			//getLastModificationTime(fs);
    			//6 copyToHDFS
    			//copyToHDFS(fs);
    			//7 appendToFile
    			appendToFile(fs);
    			//8 delete
    			//delete(fs);
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    
    }

运行示例之前，hdfs目录如下：

![20190830235140706.png][]

运行第一个实例，控制台打印日志如下：

2019-08-30 23:29:27 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] path /user/root/hdfs doesn't exists.
    2019-08-30 23:29:27 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] mkdir success : true

检查hdfs文件夹，所需的文件夹hdfs创建成功：

![20190830235123573.png][]

运行第二个示例，是在hdfs文件夹下创建一个文本文件，并写入内容。控制台打印信息：

2019-08-30 23:34:31 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] createFile done.

刷新DFS Locations目录，结构如下，可以看到新建文件及其内容：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70][]

运行第三个示例，控制台打印信息：

2019-08-30 23:36:29 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] file content is : hello,hdfs!

运行第四个示例，控制台打印信息：

2019-08-30 23:38:29 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] path /user/root/hdfs rename success true.

刷新DFS Locations目录，结构如下：

![20190830235034825.png][]

运行第五个示例，控制台打印信息：

2019-08-30 23:40:17 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] file 20190830.txt last modification time :Fri Aug 30 23:36:36 CST 2019

运行第六个示例，控制台打印信息：

2019-08-30 23:41:33 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] copyFromLocal done.

刷新DFS Locations目录，结构如下：

![20190830235005143.png][]

这个示例运行时，指定的本地文件是eclipse运行所在机器的磁盘，而不是hadoop部署的机器磁盘，这里是运行在windows系统之上的，因此我的文件路径是：D:\\\\push.txt，这里不能搞错了，不能设置为hadoop部署机器上的文件路径。

运行第七个示例，控制台打印信息：

2019-08-30 23:43:21 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] append to file ok.

hdfs文件内容：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1][]

运行第八个示例，控制台打印信息：

2019-08-30 23:45:14 [INFO ]  [main]  [com.xxx.hadoop.hdfs.HDFSMain] path 2019 delete successfully : true.

文件目录删除，刷新DFS Locations的目录：

![20190830234857910.png][]

这里需要注意的是，文件追加这个示例，文件追加需要设置属性：dfs.client.block.write.replace-datanode-on-failure.policy:NEVER，如果不设置，运行示例的时候会报异常，显示错误信息：because lease recovery is in progress。

另外，这里所有的示例运行在windows物理机的eclipse中，而hadoop部署在虚拟机上，相当于远程执行相关命令，我们需要在构建Configuration之后，设置fs.defaultFS的值，这里是hadoop2.7.0，因此设置的值是 hdfs://192.168.56.202:9000。

Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://192.168.56.202:9000");

[20190830235140706.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5f336335bf08492d93f120be30529225.png
[20190830235123573.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5ace0c8b1caa4def8401c85a02bcbac7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/13803b9a6f8b458ca23a9eaf8ec6f67a.png
[20190830235034825.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/c8729b772cc045eaa4d708a4a3fff2c8.png
[20190830235005143.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/b31e7cfbb8894078a982aa994f33ff7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8504d2923692488ea63611eeb9633fd0.png
[20190830234857910.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/2e694dddc0eb4072a09edbe78d9e3756.png