HDFS-JAVA API操作

不念不忘少年蓝@ 2023-06-27 12:40 30阅读 0赞

![format_png][]

“师傅领进门，修行靠个人”，所以有了环境的搭建，以及对操作的基本认识，现在 针对《[HDFS命令操作][HDFS]》文章中的mkdir、put、get命令来使用JAVA API对应的实现，其他的操作可以通过百度或者与在本篇文章后面留言给小编，进行交流。

操作的环境：

伪分布式环境：如环境未搭建，请返回文章《[伪分布式模式搭建][Link 1]》查看。

需要的jar包

/root/training/hadoop-2.7.3/share/hadoop/common

/root/training/hadoop-2.7.3/share/hadoop/common/lib

/root/training/hadoop-2.7.3/share/hadoop/hdfs

/root/training/hadoop-2.7.3/share/hadoop/hdfs/lib

（/root/training/hadoop-2.7.3 此处是小编在搭建环境中约定的文件路径）

1.实现目录的创建

@Test

public void test4() throws Exception \{

// 指定NameNode的地址

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.184.11:9000");

// 创建一个HDFS的客户端

FileSystem client = FileSystem.get(conf);

// 创建目录

client.mkdirs(new Path("/folder4"));

// 关闭客户端

client.close();

![format_png 1][]

2.数据上传

@Test

public void testUpload1() throws Exception \{

// 指定NameNode的地址

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.184.11:9000");

// 创建一个HDFS的客户端

FileSystem client = FileSystem.get(conf);

// 构造一个输出流，指向HDFS

OutputStream out = client.create(new Path("/folder1/a.tar.gz"));

// 构造一个输入流，从本地文件读入数据

InputStream in = new FileInputStream("d:\\\\tmp\\\\hadoop-2.7.3.tar.gz");

//缓存区

byte\[\] buffer = new byte\[1024\];

int len = 0;

while((len=in.read(buffer)) > 0) \{

out.write(buffer, 0, len);

out.flush();

out.close();

in.close();

![format_png 1][]

3.数据下载

@Test

public void testDownload2() throws Exception \{

// 指定NameNode的地址

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.184.11:9000");

// 创建一个HDFS的客户端

FileSystem client = FileSystem.get(conf);

// 从HDFS获取一个输入流

InputStream in = client.open(new Path("/folder1/a.tar.gz"));

// 创建一个输出流，指向本地路

OutputStream out = new FileOutputStream("d:\\\\tmp\\\\bb.tar.gz");

//缓存区

byte\[\] buffer = new byte\[1024\];

int len = 0;

while((len=in.read(buffer)) > 0) \{

out.write(buffer, 0, len);

out.flush();

out.close();

in.close();

![format_png 1][]

此处只罗列了三个例子，目的是想大家能够基本了解JAVA API如何操作HDFS。

在公众号 回复 3：获取最新的大数据学习路线，当前获取的大数据学习路线，还在完善中。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaWFoenFhUXpBYjZEeFZiWjJ5REpqdDZFVnZKdzhpYWFOb1F1UVJNTlRBQkh3NXZDaWIwTDhkUk5vek1MUkZpYWp0QU1sbHgyMEU1aWExczF3LzY0MA?x-oss-process=image/format,png
[HDFS]: http://mp.weixin.qq.com/s?__biz=MzA4MjQ0ODEzMA%3D%3D&chksm=9f84d958a8f3504e52b5835ccb44b6c4cc63e8491897de4cecdd13996ac1ad74a76e7ca753b1&idx=1&mid=2247484213&scene=21&sn=70d2a69c30079b3aace5737f7718baab#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA4MjQ0ODEzMA%3D%3D&chksm=9f84d95fa8f350492522774d9cf87a0ef50b87cbfd212d1cef53159e529ee479edae7a82ff19&idx=1&mid=2247484210&scene=21&sn=d72c36c107bbfc8aa13d325b789dee45#wechat_redirect
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaGpTM3JnZ3p6bVVlMmdpYzM4dWUwN3NPbUh1TkRiQmlhenJwUTNHTGlhaWJGbmo0UUhWUHhvSU5rM3Y0VDBreDRHMnBKS2tjZm1xM3pNc1EvNjQw?x-oss-process=image/format,png