Java实现远程HDFS的文件操作（新建、上传、下载、删除）

矫情吗；* 2022-05-26 13:48 224阅读 0赞

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。

其实对HDSF的文件操作主要有两种方式：命令行的方式和JavaAPI的方式。命令行的方式简单直接，但是必须要求本地机器也是在Linux系统中已经安装了hadoop，这对习惯用windows系统的用户来说不得不安装虚拟机，然后再在虚拟机上安装Linux系统，这是一种挑。同时windows系统与虚拟机上安装的Linux系统进行文件传输也是要借助一些工具才可以实现。![Center][]

为了实现以上所遇到诸如系统不一致，手动输入命令等的困扰，我们选择Java API的方式，有专门的API函数，可以在非Hadoop机器上实现访问，同时与系统无关（windows、Linux甚至XP系统也可以）。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，Hadoop类库中最终面向用户提供的接口类是FileSystem，该类封装了几乎所有的文件操作，例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。综上基本上可以得出操作文件的程序库框架：

operator( ) \{

得到Configuration对象

得到FileSystem对象

进行文件操作 \}

具体的HDFS的文件创建，上传，下载，删除等程序设计如下：

import java.io.IOException;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
  
  
public class HDFSTest01 \{  
  
/\*\*  
\* @author dcx by 2015.11.19  
\* 新建文件  
\* @param dsta  
\* @param conf  
\* @return  
\*/  
public static boolean CreatDir(String dst , Configuration conf)\{  
Path dstPath = new Path(dst) ;  
try\{  
FileSystem dhfs = FileSystem.get(conf);  
 dhfs.mkdirs(dstPath);  
\}  
catch(IOException ie)\{  
ie.printStackTrace() ;  
return false ;  
\}  
return true ;  
\}  
  
  
/\*\*  
\* @author dcx by 2015.11.19  
\* 文件上传  
\* @param src  
\* @param dst  
\* @param conf  
\* @return  
\*/  
public static boolean putToHDFS(String src , String dst , Configuration conf)\{  
Path dstPath = new Path(dst) ;  
try\{  
FileSystem hdfs = dstPath.getFileSystem(conf) ;  
hdfs.copyFromLocalFile(false, new Path(src), dstPath) ;  
\}  
catch(IOException ie)\{  
ie.printStackTrace() ;  
return false ;  
\}  
return true ;  
\}  
  
/\*\*  
\* @author dcx by 2015.11.19  
\* 文件下载  
\* @param src  
\* @param dst  
\* @param conf  
\* @return  
\*/  
public static boolean getFromHDFS(String src , String dst , Configuration conf)\{  
Path dstPath = new Path(dst) ;  
try\{  
FileSystem dhfs = dstPath.getFileSystem(conf) ;  
dhfs.copyToLocalFile(false, new Path(src), dstPath) ;  
\}catch(IOException ie)\{  
ie.printStackTrace() ;  
return false ;  
\}  
return true ;  
\}  
  
  
/\*\*  
\* @author dcx by 2015.11.19  
\* 文件删除  
\* @param path  
\* @param conf  
\* @return  
\*/  
public static boolean checkAndDel(final String path , Configuration conf)\{  
Path dstPath = new Path(path) ;  
try\{  
FileSystem dhfs = dstPath.getFileSystem(conf) ;  
if(dhfs.exists(dstPath))\{  
dhfs.delete(dstPath, true) ;  
\}else\{  
return false ;  
\}  
\}catch(IOException ie )\{  
ie.printStackTrace() ;  
return false ;  
\}  
return true ;  
\}  
  
  
  
  
/\*\*  
\* @param 主函数测试  
\*/  
public static void main(String\[\] args) \{  
  
boolean status = false ;  
String dst1 = "hdfs://192.168.1.225:9000/EBLearn\_data/new" ;  
Configuration conf = new Configuration() ;  
  
//java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.1.225:9000/EBLearn\_data/hello.txt, expected: file:///  
 //解决这个错误的两个方案：  
//方案1：下面这条命令必须加上，否则出现上面这个错误  
conf.set("fs.default.name", "hdfs://192.168.1.225:9000"); // "hdfs://master:9000"  
 //方案2： 将core-site.xml 和hdfs-site.xml放入当前工程中  
 status = CreatDir( dst1 , conf) ;  
 System.out.println("status="+status) ;  
  
 String dst = "hdfs://192.168.1.225:9000/EBLearn\_data" ;  
String src = "I:/hello.txt" ;  
  
 status = putToHDFS( src , dst , conf) ;  
System.out.println("status="+status) ;  
  
src = "hdfs://192.168.1.225:9000/EBLearn\_data/hello.txt" ;  
dst = "I:/hadoop\_need/" ;  
status = getFromHDFS( src , dst , conf) ;  
System.out.println("status="+status) ;  
  
dst = "hdfs://192.168.1.225:9000/EBLearn\_data/hello.txt" ;  
status = checkAndDel( dst , conf) ;  
System.out.println("status="+status) ;

[转载地址][Link 1]

[Center]: /images/20220526/d29175323ecc4fdda57d7faffa2633d5.png
[Link 1]: https://blog.csdn.net/dcxhun3/article/details/49998023