轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.21 HDFS API开发之创建文件夹

骑猪看日落 2024-03-22 17:51 62阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.21 HDFS API开发之创建文件夹

![在这里插入图片描述][6ea25a42e99742379976d9559d3fb21e.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.21 HDFS API开发之创建文件夹 ######

官方文档：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_filesystem_index.html]

![在这里插入图片描述][ecdb05d6eae74cefba4c07bd22a4c51c.png_pic_center]

这是 Hadoop 文件系统 API 的规范，它将文件系统的内容建模为一组路径，这些路径可以是目录、符号链接或文件。

令人惊讶的是，该领域的现有技术很少。Unix 文件系统作为 inode 树有多种规范，但没有公开定义“Unix 文件系统作为数据存储访问的概念模型”的概念。

本规范试图做到这一点；定义 Hadoop 文件系统模型和 API，以便多个文件系统可以实现 API 并向应用程序提供一致的数据模型。它不尝试正式指定文件系统的任何并发行为，除了记录 HDFS 表现出的行为，因为这些行为通常是 Hadoop 客户端应用程序所期望的。

【明确一点，使用Hadoop API 进行编程时，入口点就一个，**FileSystem**】

`HDFS API编程的入口点FileSystem`

![在这里插入图片描述][8cf5ac93bb6647ad8b181fb5f376206a.png_pic_center]

当前我们的文件系统中什么都没有，笔者直接用命令行全部删完了，然后把之前写的单元测试代码换了个包放

![在这里插入图片描述][3bea73ee805f47199e17fe194e2eb792.png_pic_center]

不影响不影响，后面都是新内容了

新建测试类：

package com.dingjiaxiong.hdfs;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Assert;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 10:23 AM
     */
    public class HDFSApp01 {
        
    
        /**
         * 创建HDFS文件夹
         */
        @Test
        public void mkdir() throws IOException, URISyntaxException, InterruptedException {
        
            Configuration configuration = new Configuration();
            // 1. 获取HDFS客户端对象
            FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration, "hadoop");
    
            // 2. 在HDFS上创建路径
            boolean isSuccess = fileSystem.mkdirs(new Path("/hdfsapi"));
            Assert.assertEquals(true, isSuccess);
    
            // 3. 关闭资源
            if (fileSystem != null) {
        
                fileSystem.close();
            }
        }
    
    }

加一个日志框架依赖

<dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
                <version>1.7.30</version>
            </dependency>

![在这里插入图片描述][76310951b59747099a0d89cffbf94c7b.png_pic_center]

测试结果

![在这里插入图片描述][a65d28790b414838b508b47dfc5f8630.png_pic_center]

绿了，看看ui

![在这里插入图片描述][db2d00ee2c9c499caf2164e48833463f.png_pic_center]

没问题，已经创建出来了

![在这里插入图片描述][6a830f16800a4f448b0052034f2a808a.png_pic_center]

可以看到日志还是有些问题

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

大概意思是找不到记录器，笔者谷歌了一下，大概原因是没有对log4j 进行配置

![在这里插入图片描述][2ed272e906394030953db687aa645a08.png_pic_center]

试试，加一个配置文件，其实老师都没加…

hadoop.root.logger=INFO, console
    log4j.rootLogger=INFO, console
    log4j.appender.console=org.apache.log4j.ConsoleAppender
    log4j.appender.console.target=System.out
    log4j.appender.console.layout=org.apache.log4j.PatternLayout
    log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

![在这里插入图片描述][7c3694a008d045c69481139f25cef003.png_pic_center]

创建出来的文件夹用命令行命令删掉再试一次

![在这里插入图片描述][1a720fed1bb84c9eb507101fd12333ed.png_pic_center]

![在这里插入图片描述][778b5583161247f6833d478786e4dfbd.png_pic_center]

这次就没有那个红色的警告了，剩下这个也和老师的一样了。

![在这里插入图片描述][9ae44b72c13a43ef843aa93494f592eb.png_pic_center]

创建成功了的

这是一种写法，还有一种

@Test
        public void mkdir02() throws IOException, URISyntaxException, InterruptedException {
        
            System.setProperty("HADOOP_USER_NAME", "hadoop");
            Configuration configuration = new Configuration();
            configuration.set("fs.defaultFS", "hdfs://hadoop000:8020");
    
            FileSystem fileSystem = FileSystem.get(configuration);
    
            boolean isSuccess = fileSystem.mkdirs(new Path("/hdfsapi02"));
            Assert.assertEquals(true, isSuccess);
    
            if (fileSystem != null) {
        
                fileSystem.close();
            }
        }

把相关配置写到`configuration` 中

运行结果

![在这里插入图片描述][2bbbede0f52a4edb830fe9f87174fe5a.png_pic_center]

没问题

绿了

看看文件系统

![在这里插入图片描述][1da3c52c161947c081ee207850de4885.png_pic_center]

没问题。

[6ea25a42e99742379976d9559d3fb21e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8fdb7e6d423b4a72bbbd3b5a399c3152.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_filesystem_index.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html
[ecdb05d6eae74cefba4c07bd22a4c51c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8e7c1134d63d464cbd3cd16e0b4c04cc.png
[8cf5ac93bb6647ad8b181fb5f376206a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6299ce4d13a34a5aad9b6b036443c9ad.png
[3bea73ee805f47199e17fe194e2eb792.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d9e6eb2b87af4107b2dc75da02b68599.png
[76310951b59747099a0d89cffbf94c7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8585f745c1cd409caa592f719a143a1e.png
[a65d28790b414838b508b47dfc5f8630.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/891f08368adb4bfd9b17a8fcb0a21c82.png
[db2d00ee2c9c499caf2164e48833463f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/cf22fd14eca54d82a36c819bfc03b405.png
[6a830f16800a4f448b0052034f2a808a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/146e171f63c14d36be180224649c0153.png
[2ed272e906394030953db687aa645a08.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1001609f6ea04d8badd4db637f292fc3.png
[7c3694a008d045c69481139f25cef003.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/afd50af3fe9840209514cc7a77de4288.png
[1a720fed1bb84c9eb507101fd12333ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/ee3faf237d584b9b9c30e70911b65c7a.png
[778b5583161247f6833d478786e4dfbd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8c99b063d1564e4bab79439096adf6fa.png
[9ae44b72c13a43ef843aa93494f592eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3f09d0b2aa1c497f8d4e3aeddccdaf45.png
[2bbbede0f52a4edb830fe9f87174fe5a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a799a723ad164c0a9e165374217089cc.png
[1da3c52c161947c081ee207850de4885.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/57c8b0116d844c00a3f29896d5e40a98.png