HDFS的API

末蓝、 2022-07-14 17:12 224阅读 0赞

此文档用来提醒自己编写API的步骤

1.获取与服务器集群上HDFS的连接

a.获取环境变量Configuration conf=new Configuration();

b.获取HDFs 文件系统

  1.     **FileSystem fs=FileSystem.get(new****URI("hdfs://192.168.234.214:9000"),conf);**** **

2.下载文件到本地（输入输出流对接）

a.获取输入流，打开文件InputStream in=fs.open(new Path(“/park/1.txt”));

b.获取输出流，创建本地文件准备存放hdfs数据

c.输入输出流对接，拿到文件

d.关流

  1.     **  3.上传本地文件到HDFS**

同2 输入输出流对接

4.利用copyFromLocalFile/copyToLocalFile完成上传和下载

//copyFromLocalFile：本地=》HDFS第一个path：本地文件路径

copyFromLocalFile(new Path(“2.txt”),new Path(“/park/2.txt”));

//copyToLocalFile:HDFS=》本地第一path：HDFS的文件路径

fs.copyToLocalFile(new Path(“/park/2.txt”),new Path(“2.txt”));

5.创建 fs.mkdir()

6.删除 fs.delete(目录，boolean)

7.查看 fs.listStatus(new Path(“/park01”));

……..

发表评论

表情：
评论列表 （有 0 条评论，224人围观）

还没有评论，来说两句吧...

相关阅读

    相关 HDFS Java API介绍

    Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。HDFS Java API主要包如下所示： org.apache.hadoop.fs.FileSystem

    蔚落蔚落/ 0 赞/ 88 阅读

    相关 HDFS的API操作

    对于hdfs的shell命令操作在前一篇的笔记中已经学习，最近对hdfs的API操作进行了学习，主要包括： 1、hadoop的连接和关闭 2、文件目录的创建 3、文

    Myth丶恋晨Myth丶恋晨/ 0 赞/ 206 阅读

    相关 HDFS的API

    此文档用来提醒自己编写API的步骤  1.获取与服务器集群上HDFS的连接 a.获取环境变量Configuration conf=new Configur

    末蓝、末蓝、/ 0 赞/ 225 阅读

    相关 HDFS中JAVA API的使用

    　HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作

    傷城~傷城~/ 0 赞/ 242 阅读