java操作hdfs

亦凉 2021-05-12 11:51 432阅读 0赞

在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以关联到hadoop的源码。

![Center][]

![Image 1][]

引入hadoop安装包中的7个jar

![Center 1][]

![Image 1][]

关联hadoop源码：

![Image 1][]

![Center 2][]

1、使用URL的方式读取hdfs中的数据，这种方式和使用浏览器查看hdfs中的数据一样；缺点是只能读取，不能上传、删除等：

public static finalString HADOOP\_PATH = "hdfs://centos1:9000/hello";

public static voidmain(String\[\] args) throws Exception \{

//默认URL只识别http的协议，所以对于hdfs协议需要添加一个解析器

URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());

URLurl = new URL(HADOOP\_PATH);

InputStream  in = url.openStream();

/\*\*

\* in 输入流

\* out 输出流

\* buffersize 缓冲区大小

\* close 是否关闭

\*/

IOUtils.copyBytes(in,System.out, 1024, true);

\}

2、使用hadoop提供的FileSystem类，可以全方位操作hdfs中的数据，和hdfs提供的shell一样：

public static finalString HADOOP\_PATH = "hdfs://centos1:9000/";

public static finalString DIR\_PATH = "/liuxiao";

public static finalString FILE\_PATH = "/liuxiao/liuxiao.log";

public static voidmain(String\[\] args) throws Exception \{

Configurationconf = new Configuration();

FileSystemfs = FileSystem.get(new URI(HADOOP\_PATH), conf);

//创建

fs.mkdirs(newPath(DIR\_PATH));

//上传

FSDataOutputStreamout = fs.create(new Path(FILE\_PATH));

FileInputStreamin = new FileInputStream("F:/liuxiao.log");

IOUtils.copyBytes(in,out, 1024, true);

//下载

FSDataInputStream in1 = fs.open(new Path(FILE\_PATH));

IOUtils.copyBytes(in1, System.out, 1024, true);

//删除

fs.delete(newPath(FILE\_PATH), true);

\}

[Center]: /images/20210511/dea714b4ee1d4d74b867a3c57e9e84ef.png
[Image 1]: 
[Center 1]: /images/20210511/2a1e302ce1ee459fbdb1ef19a3f4a5dc.png
[Center 2]: /images/20210511/ecafaea249524385b176be8a320d5820.png

发表评论取消回复

表情：

评论列表（有 0 条评论，432人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java操作HDFS

我们使用maven作为依赖管理，首先添加依赖 <dependency> <groupId>org.apache.hadoop</groupId>

川长思鸟来/ 2023年01月23日 08:52/ 0 赞/ 126 阅读

相关 HDFS Shell / Java API操作

本文目录 1.HDFS Shell操作 1.1 基本语法 1.2 常用命令 1）查看Hadoop支持的命令

系统管理员/ 2022年12月19日 13:11/ 0 赞/ 143 阅读

相关基于Java API操作HDFS

目录一、基于Maven环境构建工程二、基于Java API操作HDFS配置三、基于Java API 读取或上传HDFS文件内

心已赠人/ 2022年12月12日 15:29/ 0 赞/ 84 阅读

相关使用java api操作hdfs

参考: https://blog.csdn.net/jiecxy/article/details/78011630 1. 首先创建一个maven项目，添加如下的hadoop-

小灰灰/ 2022年05月27日 10:18/ 0 赞/ 152 阅读

相关 Java操作HDFS

Java操作HDFS maven仓库【阿里仓库--支持chd的下载】配置文件 <mirror>

￡神魔★判官ぃ/ 2022年05月16日 06:06/ 0 赞/ 179 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 238 阅读

相关 HDFS操作

1、使用oiv命令查看hadoop 的镜像文件 [hadoop@s201 ~/hadoop/dfs/name/current]$hdfs oiv Usage

妖狐艹你老母/ 2022年05月14日 05:47/ 0 赞/ 202 阅读

相关 hdfs操作

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/ hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中

朴灿烈づ我的快乐病毒、/ 2021年11月17日 04:31/ 0 赞/ 330 阅读

相关 Java程序操作HDFS

1.新建项目 2.导包解压hadoop-2.7.3.tar.gz E:\\工具\\大数据\\大数据提升资料\\01-软件资料\\06-Hadoop\\安装包\\Ja

快来打我*/ 2021年10月29日 08:48/ 0 赞/ 266 阅读

相关 java操作hdfs

在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以关联到hadoop的源码。 ![Center][]

亦凉/ 2021年05月12日 11:51/ 0 赞/ 433 阅读