大数据之Hadoop中HDFS客户端操作（第四篇）

淡淡的烟草味﹌ 2021-12-09 07:37 387阅读 0赞

HDFS客户端操作  
继上篇Hadoop入门第三篇后，我们今天来说一下HDFS客户端的操作。  
准备工作：  
这里我们先用伪分布式来说一下，所以我们要先有一个伪分布式。

1、HDFS客户端环境准备  
1）根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：C:\\Study\\tools）。

2）配置环境变量

1）配置系统环境变量  
1.2.1.1 配置jdk的环境变量

一般学java的我们都会配好JDK的环境变量所以这里就不细说。

1.2.1.2 配置hadoop的环境变量

首先这里要创建HADOOP\_HOME变量名和变量值  
1

然后编辑系统变量中的Path

对Path进行编辑

添加变量%HADOOP\_HOME%\\bin  
以上步骤就把我们环境变量配置好了。然后我们开始进行配置eclipse环境

2）配置eclipse环境  
1.2.2.1 在eclipse启动之前，先将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins  
1.2.2.2 启动eclipse  
eclipse启动后，首先打开window——Show View——Other

进入到这个视图之后我们开始配置的端口号，此处的端口号是我们在伪分布式搭建成功后登陆50070后跳转页面上显示的接口号

这要我们就有了我们小象的视图了

然后在我们的虚拟机中先上传个文件，以便我们之后查看我们的文件。  
我们先创建一个目录

\[root@node01 ~\]\# hdfs dfs -mkdir -p /user/root  
1  
然后上传我们要上传的文件

\[root@node01 ~\]\# hdfs dfs -put /etc/profile /user/root  
1  
/etc/profile 为我要上传的文件  
/user/root 为我创建的目录

然后在我们eclipse中的左侧的小象刷新就可以显示我们已经上传到HDFS的文件了

2、创建项目  
1）window——perferences  
Hadoop Map/Reduce ——放置hadoop-2.6.5  
java—build Path-----User Libraries—Add External然后把lib下的所有jar包导入进来

2)创建一个Java Project 项目  
然后在我们的项目里右击----Build Path，导入我们所需要的User library—lib包  
以及Junit包  
创建conf文件夹，利用Xftp6这个软件把我们Linux中的配置文件拖出来。然后将这两个配置文件放入conf文件夹中，右击build，将它转化为资源包生效文件。

3、HDFS的API操作

3.1 创建一个类在其中编写我们的代码

//首先引入配置文件  
    Configuration conf=null;  
    //创建文件流  
    FileSystem fs=null;  
    @Before  
    public void conn() throws IOException \{  
        //设置是否读取配置信息  
        conf=new Configuration(true);  
        fs=FileSystem.get(conf);  
    \}  
    @After  
    public void close() throws IOException \{  
        fs.close();  
    \}  
      
  
创建一个文件夹和判断是否存在以及删除文件夹

//创建删除重命名判断是否存在  
    @Test  
    public void mkdir() throws IOException \{  
    //  
        Path f=new Path("/aaa");  
        //判断是否存在  
        if (fs.exists(f)) \{  
        //删除文件夹  
            fs.delete(f);  
        \}  
        fs.mkdirs(f);  
    \}  
  
//重命名  
    @Test  
    public void rn() throws IOException \{  
        Path p1 = new Path("/user/root/profile");  
        Path p2 = new Path("/user/root/haha.txt");  
        boolean rename = fs.rename(p1, p2);  
        System.out.println(rename);  
    \}  
  
    //上传文件  
    @Test  
    public void upload() throws IOException \{  
        //输入位置  C:\\\\Users\\\\\*\*\*\\\\Desktop\\笔记.doc  
        //输出位置  /user/root  
        Path inputFile = new Path("/user/root/笔记.txt");  
        //文件内容输出  
        FSDataOutputStream output = fs.create(inputFile);  
        //输入  
        InputStream input=new BufferedInputStream(new FileInputStream(new File("C:\\\\\\\\Users\\\\\\\\吕宏达\\\\\\\\Desktop\\\\笔记.doc")));  
        IOUtils.copyBytes(input, output, conf, true);  
    \}  
  
    //下载文件  
    @Test  
    public void download() throws IOException \{  
        //从linux中上传到hdfs  
        //输入位置  
        Path src = new Path("/user/root/笔记.txt");  
        FSDataInputStream input = fs.open(src);  
        //输出位置  
        FileOutputStream output = new FileOutputStream("c:\\\\123\\\\笔记.txt");  
        IOUtils.copyBytes(input, output, conf, true);  
    \}  
      
\---------------------   
作者：夜、那么美จุ๊บ   
来源：CSDN   
原文：https://blog.csdn.net/adamaaron/article/details/91894617   
版权声明：本文为博主原创文章，转载请附上博文链接！