Java实现hdfs的8个api操作

待我称王封你为后i 2023-09-26 20:16 85阅读 0赞

### Java实现hdfs的8个api操作 ###

*   *  一、预处理准备
     *   *  1. 配置本地hadoop3.1.3目录文件
         *  2. 配置环境变量
     *  二、Maven项目依赖
     *  三、Java源代码
     *  四、api操作的实现
     *   *  1. 实现前的准备
         *  2. 创建hdfs上的路径
         *  3. 删除hdfs上的路径
         *  4. 创建hdfs文件并写入数据
         *  5. 删除hdfs上的文件
         *  6. hdfs上的文件移动路径并改名
         *  7.读取hdfs上的文件内容
         *  8.上传windows下的本地文件到hdfs上
         *  9. 从hdfs上下载文件到本地

## 一、预处理准备 ##

### 1. 配置本地hadoop3.1.3目录文件 ###

先将Linux上的hadoop解压版（tar -zxvf解压）复制一份，再删除（rm -rf）其share子目录（不然下载的文件比较大）

![在这里插入图片描述][7e9606c008064029899602428bf8af46.png]

利用MobaXterm下载到本地（如D:\\othersSofts目录下），改名为hadoop3.1.3，再在linux虚拟机上删除供下载用的hadoop目录文件

![在这里插入图片描述][c68af6a3ae3d478cbf7bf931d13d4ed6.png]  
![在这里插入图片描述][7878d01fc4e94bda9f0fc99d8bfd6a3e.png]

在其/bin目录下添加其所需要的Windows依赖，遇到同名文件则替换

![在这里插入图片描述][ff6476a703ad45dc80b3cce889f36b76.png]

![在这里插入图片描述][430228014942408399e6e975cf368ae4.png]  
![在这里插入图片描述][c6c9021d7dda4c2cb2bee0a089974699.png]

### 2. 配置环境变量 ###

![在这里插入图片描述][f9955e394d534037b6e870414b354a9e.png]

![在这里插入图片描述][0504124e945a41d1a0c6305edf769929.png]

## 二、Maven项目依赖 ##

创建一个Maven项目，在pom.xml中添加如下依赖：

<dependency>
          <groupId>junit</groupId>
          <artifactId>junit</artifactId>
          <version>4.12</version>
        </dependency>
    
        <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.1.3</version>
        </dependency>
    
        <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-hdfs</artifactId>
          <version>3.1.3</version>
        </dependency>
    
        <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-client</artifactId>
          <version>3.1.3</version>
        </dependency>

## 三、Java源代码 ##

package org.igeek.hdfsapi;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    import org.junit.After;
    import org.junit.Before;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    /**
     * 使用hdfs的api进行操作
     */
    public class HdfsApiTest {
        
    
        //文件系统对象
        FileSystem fs = null;
    
        /**
         * 初始化文件系统
         *
         * @throws URISyntaxException
         * @throws IOException
         */
        @Before
        public void init() throws URISyntaxException, IOException, InterruptedException {
        
    
            //创建一个配置对象
            Configuration conf = new Configuration();
    
            // hdfs中的NameNode地址
    
            //方法一: ip地址:端口
    //      String hdfsPath ="hdfs://192.168.31.53:8020";
    
            //方法二:hostname:端口
            String hdfsPath = "hdfs://bigdata03:8020";
    
            String userName = "root";
    
            //获取文件系统对象
            fs = FileSystem.get(new URI(hdfsPath), conf, userName);
    
            System.out.println("hdfs文件系统对象初始化完成!");
    
        }
    
        /**
         * 关闭文件系统
         *
         * @throws IOException
         */
        @After
        public void close() throws IOException {
        
            fs.close();
            System.out.println("hdfs文件系统已关闭!");
    
        }
    
        /**
         * 创建hdfs上的路径
         *
         * @throws IOException
         */
    
        @Test
        public void createPath() throws IOException {
        
            boolean createFlag = fs.mkdirs(new Path("/hdfs_api"));
            if (createFlag) {
        
                System.out.println("路径创建成功");
            } else {
        
                System.out.println("路径创建失败");
    
            }
    
        }
    
        /**
         * 删除hdfs上的路径
         *
         * @throws IOException
         */
    
        @Test
        public void deletePath() throws IOException {
        
            Path path = new Path("/test");
            //判断删除路径是否存在
    
            if (fs.exists(path)) {
        
    
                //使用递归删除
                boolean deleteFlag = fs.delete(path, true);
                if (deleteFlag) {
        
                    System.out.println("删除路径成功");
                } else {
        
                    System.out.println("删除路径失败");
                }
    
            }
        }
    
    
        /**
         * 创建hdfs文件并写入数据
         * @throwsIOException
         */
        @Test
        public void createFile() throws IOException {
        
            //创建文件路径
            Path path = new Path("/hdfs_api/add.txt");
    
            FSDataOutputStream fos = fs.create(path);
            //写出的数据
            String content = "我是通过api写入的数据";
            //通过流进行数据写出
            fos.write(content.getBytes());
            // 流的刷新
            fos.flush();
            }
    
    
        /**
        *删除hdfs上的文件
        *@throws IOException
        */
    @Test
    public void deleteFile() throws IOException{
        
            boolean deleteFlag = fs.deleteOnExit(new Path( "/touchz.txt"));
    
            if(deleteFlag){
        
                System.out. println("删除文件成功");
            } else {
        
                System. out. println("删除文件失败");
            }
    }
    
        /**
         * hdfs上的文件移动路径并改名
         *@throws IOException
         */
    
        @Test
        public void moveFile() throws IOException {
        
        //文件的源路径
            Path src = new Path("/put.txt");
        //文件移动后的路径
            Path dst = new Path("/hdfs_api/put_new.txt");
            boolean renameFlag = fs.rename(src, dst);
            if (renameFlag) {
        
                System.out.println("文件移动成功");
            } else {
        
                System.out.println("文件移动失败");
            }
        }
    
        /**
         * 读取hdfs上的文件内容
         * @throws IOException
         */
    
        @Test
        public void readFile() throws IOException {
        
            FSDataInputStream fis = fs.open(new Path("/hdfs_api/add.txt"));
            IOUtils.copyBytes(fis, System.out, 2048, false);
            System.out.println("\n");
    
        }
    
        /**
         * 上传windows下的本地文件到hdfs上
         * @throws IOException
         */
    
        @Test
        public void uploadEile() throws IOException {
        
            //要上传的hdfs路径
            Path src = new Path("D:\\othersofts\\hadoop3.1.3\\etc\\hadoop\\core-site.xml");
            //文件的本地路径
            Path dst = new Path("/hdfs_api");
            fs.copyFromLocalFile(true, src, dst);
            System.out.println("文件从本地上传hdfs成功");
    
        }
    
        /**
         * 从hdfs上下载文件到本地
         * @throws IOException
         */
        @Test
        public void downloadFile() throws IOException {
        
            // hdfs路径
            Path src = new Path("/hdfs_api/add.txt");
    
            //本地路径
            Path dst = new Path("D:\\");
    
            fs.copyToLocalFile(false, src, dst,false);
            System.out.println("下载文件成功");
    
        }
        }

## 四、api操作的实现 ##

注意：要在每个注解@Test下右击执行对应的方法，如：  
![在这里插入图片描述][7e127af1ffbd45038968a92ab48bfe97.png]

### 1. 实现前的准备 ###

再在Maven项目中完成初始化文件系统（注解使用@Before）和关闭文件系统（注解使用@After）部分：

//文件系统对象
        FileSystem fs = null;
    
        /**
         * 初始化文件系统
         *
         * @throws URISyntaxException
         * @throws IOException
         */
        @Before
        public void init() throws URISyntaxException, IOException, InterruptedException {
        
    
            //创建一个配置对象
            Configuration conf = new Configuration();
    
            // hdfs中的NameNode地址
    
            //方法一: ip地址:端口
    //      String hdfsPath ="hdfs://192.168.31.53:8020";
    
            //方法二:hostname:端口
            String hdfsPath = "hdfs://bigdata03:8020";
    
            String userName = "root";
    
            //获取文件系统对象
            fs = FileSystem.get(new URI(hdfsPath), conf, userName);
    
            System.out.println("hdfs文件系统对象初始化完成!");
    
        }
    
        /**
         * 关闭文件系统
         *
         * @throws IOException
         */
        @After
        public void close() throws IOException {
        
            fs.close();
            System.out.println("hdfs文件系统已关闭!");
    
        }

### 2. 创建hdfs上的路径 ###

/**
         * 创建hdfs上的路径
         *
         * @throws IOException
         */
    
        @Test
        public void createPath() throws IOException {
        
            boolean createFlag = fs.mkdirs(new Path("/hdfs_api"));
            if (createFlag) {
        
                System.out.println("路径创建成功");
            } else {
        
                System.out.println("路径创建失败");
    
            }
    
        }

![在这里插入图片描述][7e127af1ffbd45038968a92ab48bfe97.png]

![在这里插入图片描述][28dc8ef6b649451da608b604848285c8.png]

输入hadoop指令上查看创建/hdfs\_api的结果：

![在这里插入图片描述][0434611fce324415862f1374a4776454.png]

### 3. 删除hdfs上的路径 ###

/**
         * 删除hdfs上的路径
         *
         * @throws IOException
         */
    
        @Test
        public void deletePath() throws IOException {
        
            Path path = new Path("/test");
            //判断删除路径是否存在
    
            if (fs.exists(path)) {
        
    
                //使用递归删除
                boolean deleteFlag = fs.delete(path, true);
                if (deleteFlag) {
        
                    System.out.println("删除路径成功");
                } else {
        
                    System.out.println("删除路径失败");
                }
    
            }
        }

![在这里插入图片描述][52c6b75ca7584451a6e49853744b0a17.png]

![在这里插入图片描述][0cfd9da086494f7b92acc6cfae2d74cd.png]

输入hadoop指令上查看删除/test的结果：

![在这里插入图片描述][880ad7c9125240af8c20c780cecbcdb9.png]

### 4. 创建hdfs文件并写入数据 ###

/**
         * 创建hdfs文件并写入数据
         * @throwsIOException
         */
        @Test
        public void createFile() throws IOException {
        
            //创建文件路径
            Path path = new Path("/hdfs_api/add.txt");
    
            FSDataOutputStream fos = fs.create(path);
            //写出的数据
            String content = "我是通过api写入的数据";
            //通过流进行数据写出
            fos.write(content.getBytes());
            // 流的刷新
            fos.flush();
            }

![在这里插入图片描述][e8f2ef5fcc7e4eb0b3d17c0585587ed8.png]

![在这里插入图片描述][cad65979f9254f41a10748acd5683640.png]

输入hadoop指令上查看写入的数据

![在这里插入图片描述][b02b03af0d6f46d4b8225d45c15f4478.png]

### 5. 删除hdfs上的文件 ###

/**
        *删除hdfs上的文件
        *@throws IOException
        */
    @Test
    public void deleteFile() throws IOException{
        
            boolean deleteFlag = fs.deleteOnExit(new Path( "/touchz.txt"));
    
            if(deleteFlag){
        
                System.out. println("删除文件成功");
            } else {
        
                System. out. println("删除文件失败");
            }
    }

![在这里插入图片描述][299a46780ed74b6e8905452b8dd18d81.png]

![在这里插入图片描述][9215b8dc3d074322a471c71c4404dc29.png]

输入hadoop指令发现已有的/touchz.txt之后被删除：

![在这里插入图片描述][843c6a03a4a84d0c90901004d61893d6.png]

### 6. hdfs上的文件移动路径并改名 ###

/**
         * hdfs上的文件移动路径并改名
         *@throws IOException
         */
    
        @Test
        public void moveFile() throws IOException {
        
        //文件的源路径
            Path src = new Path("/put.txt");
        //文件移动后的路径
            Path dst = new Path("/hdfs_api/put_new.txt");
            boolean renameFlag = fs.rename(src, dst);
            if (renameFlag) {
        
                System.out.println("文件移动成功");
            } else {
        
                System.out.println("文件移动失败");
            }
        }

![在这里插入图片描述][470c41b953b9495281b907d2b4aafbe0.png]

![在这里插入图片描述][5b58b3eba3de4b76af8f6676b929cf3c.png]

输入hadoop指令查看：

![在这里插入图片描述][710e88b5d3b54f86b5801f4e9f3ee9c2.png]

### 7.读取hdfs上的文件内容 ###

/**
         * 读取hdfs上的文件内容
         * @throws IOException
         */
    
        @Test
        public void readFile() throws IOException {
        
            FSDataInputStream fis = fs.open(new Path("/hdfs_api/add.txt"));
            IOUtils.copyBytes(fis, System.out, 2048, false);
            System.out.println("\n");
    
        }

![在这里插入图片描述][c970cafe6f2c43ad935a318ea4b3edf9.png]

![在这里插入图片描述][7ed82ac82dbb44a09c7daf9d2bbae8d0.png]

### 8.上传windows下的本地文件到hdfs上 ###

/**
         * 上传windows下的本地文件到hdfs上
         * @throws IOException
         */
    
        @Test
        public void uploadEile() throws IOException {
        
            //要上传的hdfs路径
            Path src = new Path("D:\\othersofts\\hadoop3.1.3\\etc\\hadoop\\core-site.xml");
            //文件的本地路径
            Path dst = new Path("/hdfs_api");
            fs.copyFromLocalFile(true, src, dst);
            System.out.println("文件从本地上传hdfs成功");
    
        }

![在这里插入图片描述][b57b103ec6624a76b0ff85574f494277.png]

![在这里插入图片描述][21fd17e0213a4f68803ce0879caae3bd.png]  
![在这里插入图片描述][176a5dacab2e490899d19ee3bedef4a2.png]  
![在这里插入图片描述][5050d97ff5b346b4b8e938cdc7df2135.png]

### 9. 从hdfs上下载文件到本地 ###

/**
         * 从hdfs上下载文件到本地
         * @throws IOException
         */
        @Test
        public void downloadFile() throws IOException {
        
            // hdfs路径
            Path src = new Path("/hdfs_api/add.txt");
    
            //本地路径
            Path dst = new Path("D:\\");
    
            fs.copyToLocalFile(false, src, dst,false);
            System.out.println("下载文件成功");
    
        }

下载结果：

![在这里插入图片描述][9bde5f7bac99457e87fd430a09c345c3.png]  
![在这里插入图片描述][3e89797efe9f42a882cce7c20c018b61.png]

[7e9606c008064029899602428bf8af46.png]: https://img-blog.csdnimg.cn/7e9606c008064029899602428bf8af46.png
[c68af6a3ae3d478cbf7bf931d13d4ed6.png]: https://img-blog.csdnimg.cn/c68af6a3ae3d478cbf7bf931d13d4ed6.png
[7878d01fc4e94bda9f0fc99d8bfd6a3e.png]: https://img-blog.csdnimg.cn/7878d01fc4e94bda9f0fc99d8bfd6a3e.png
[ff6476a703ad45dc80b3cce889f36b76.png]: https://img-blog.csdnimg.cn/ff6476a703ad45dc80b3cce889f36b76.png
[430228014942408399e6e975cf368ae4.png]: https://img-blog.csdnimg.cn/430228014942408399e6e975cf368ae4.png
[c6c9021d7dda4c2cb2bee0a089974699.png]: https://img-blog.csdnimg.cn/c6c9021d7dda4c2cb2bee0a089974699.png
[f9955e394d534037b6e870414b354a9e.png]: https://img-blog.csdnimg.cn/f9955e394d534037b6e870414b354a9e.png
[0504124e945a41d1a0c6305edf769929.png]: https://img-blog.csdnimg.cn/0504124e945a41d1a0c6305edf769929.png
[7e127af1ffbd45038968a92ab48bfe97.png]: https://img-blog.csdnimg.cn/7e127af1ffbd45038968a92ab48bfe97.png
[28dc8ef6b649451da608b604848285c8.png]: https://img-blog.csdnimg.cn/28dc8ef6b649451da608b604848285c8.png
[0434611fce324415862f1374a4776454.png]: https://img-blog.csdnimg.cn/0434611fce324415862f1374a4776454.png
[52c6b75ca7584451a6e49853744b0a17.png]: https://img-blog.csdnimg.cn/52c6b75ca7584451a6e49853744b0a17.png
[0cfd9da086494f7b92acc6cfae2d74cd.png]: https://img-blog.csdnimg.cn/0cfd9da086494f7b92acc6cfae2d74cd.png
[880ad7c9125240af8c20c780cecbcdb9.png]: https://img-blog.csdnimg.cn/880ad7c9125240af8c20c780cecbcdb9.png
[e8f2ef5fcc7e4eb0b3d17c0585587ed8.png]: https://img-blog.csdnimg.cn/e8f2ef5fcc7e4eb0b3d17c0585587ed8.png
[cad65979f9254f41a10748acd5683640.png]: https://img-blog.csdnimg.cn/cad65979f9254f41a10748acd5683640.png
[b02b03af0d6f46d4b8225d45c15f4478.png]: https://img-blog.csdnimg.cn/b02b03af0d6f46d4b8225d45c15f4478.png
[299a46780ed74b6e8905452b8dd18d81.png]: https://img-blog.csdnimg.cn/299a46780ed74b6e8905452b8dd18d81.png
[9215b8dc3d074322a471c71c4404dc29.png]: https://img-blog.csdnimg.cn/9215b8dc3d074322a471c71c4404dc29.png
[843c6a03a4a84d0c90901004d61893d6.png]: https://img-blog.csdnimg.cn/843c6a03a4a84d0c90901004d61893d6.png
[470c41b953b9495281b907d2b4aafbe0.png]: https://img-blog.csdnimg.cn/470c41b953b9495281b907d2b4aafbe0.png
[5b58b3eba3de4b76af8f6676b929cf3c.png]: https://img-blog.csdnimg.cn/5b58b3eba3de4b76af8f6676b929cf3c.png
[710e88b5d3b54f86b5801f4e9f3ee9c2.png]: https://img-blog.csdnimg.cn/710e88b5d3b54f86b5801f4e9f3ee9c2.png
[c970cafe6f2c43ad935a318ea4b3edf9.png]: https://img-blog.csdnimg.cn/c970cafe6f2c43ad935a318ea4b3edf9.png
[7ed82ac82dbb44a09c7daf9d2bbae8d0.png]: https://img-blog.csdnimg.cn/7ed82ac82dbb44a09c7daf9d2bbae8d0.png
[b57b103ec6624a76b0ff85574f494277.png]: https://img-blog.csdnimg.cn/b57b103ec6624a76b0ff85574f494277.png
[21fd17e0213a4f68803ce0879caae3bd.png]: https://img-blog.csdnimg.cn/21fd17e0213a4f68803ce0879caae3bd.png
[176a5dacab2e490899d19ee3bedef4a2.png]: https://img-blog.csdnimg.cn/176a5dacab2e490899d19ee3bedef4a2.png
[5050d97ff5b346b4b8e938cdc7df2135.png]: https://img-blog.csdnimg.cn/5050d97ff5b346b4b8e938cdc7df2135.png
[9bde5f7bac99457e87fd430a09c345c3.png]: https://img-blog.csdnimg.cn/9bde5f7bac99457e87fd430a09c345c3.png
[3e89797efe9f42a882cce7c20c018b61.png]: https://img-blog.csdnimg.cn/3e89797efe9f42a882cce7c20c018b61.png