Hadoop：HDFS概述和Shell、API操作

亦凉 2023-02-11 08:50 30阅读 0赞

### 文章目录 ###

*  一、HDFS概述
 *   *  1.1 HDFS定义
     *  1.2 HDFS优缺点
     *  1.3 HDFS组成架构
     *  1.4 HDFS 文件块大小
 *  二、HFDS的Shell操作
 *  三、HFDS客户端操作

# 一、HDFS概述 #

> 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。`HDFS`只是分布式文件管理系统中的一种

## 1.1 HDFS定义 ##

`HDFS` (`Hadoop Distributed File System`)， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

`HDFS`的使用场景:适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

## 1.2 HDFS优缺点 ##

**优点：**

1.  高容错性  
    数据自动保存多个副本。它通过增加副本的形式，提高容错性。  
    某一个副本丢失以后，它可以自动恢复。
2.  适合大数据处理  
    数据规模：能够处理数据规模达到`GB`、`TB`、甚至`PB`级别的数据  
    文件规模：能够处理百万规模以上的文件数量，数量相当之大
3.  流式数据访问，它能保证数据的一致性
4.  可构建在廉价机器上，通过多副本机制，提高可靠性

**缺点：**

1.  不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
2.  无法高效的对大量小文件进行存储  
    存储大量小文件的话，它会占用`NameNode`大量的内存来存储文件、目录和块信息。这样是不可取的，因为`NameNode`的内存总是有限的  
    小文件存储的寻道时间会超过读取时间，它违反了`HDFS`的设计目标
3.  并发写入、文件随机修改  
    一个文件只能有一个写，不允许多个线程同时写  
    仅支持数据`append`（追加），不支持文件的随机修改

## 1.3 HDFS组成架构 ##

![在这里插入图片描述][20200522161424221.png]  
**①Client:客户端**

1.  文件切分。文件上传`HDFS`的时候，`Client`将文件切分成一个一个的`Block`，然后进行存储
2.  与`NameNode`交互，获取文件的位置信息
3.  与`DataNode`交互，读取或者写入数据
4.  `Client`提供一些命令来管理`HDFS`，比如启动或者关闭`HDFS`
5.  `Client`可以通过一些命令来访问`HDFS`

**②NameNode(Master):主管、管理者**

1.  管理`HDFS`的名称空间’
2.  管理数据块（`Block`）映射信息
3.  配置副本策略
4.  处理客户端读写请求

**③DataNode(Slave):NameNode下达命令，DataNode执行实际的操作**

1.  存储实际的数据块
2.  执行数据块的读/写操作

**④Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务**

1.  辅助`NameNode`，分担其工作量
2.  定期合并`Fsimage`和`Edits`，并推送给`NameNode`
3.  在紧急情况下，可辅助恢复`NameNode`

## 1.4 HDFS 文件块大小 ##

`HDFS`中的文件在物理上是分块存储（`block`），块的大小可以通过配置参数(`dfs.blocksize`)来规定，默认大小在`hadoop2.x`版本中是`128M`，老版本中是`64M`。

如果寻址时间约为10`ms`，而传输速率为100`MB/s`，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100`MB`（10`ms`/1%`*`100`M/s` = 100`M`）,默认的块大小128`MB`。

**为什么块的大小不能设置太小，也不能设置太大?**

*  `HDFS`的块设置太小，会增加寻址时间，程序一直在找块的开始位置
 *  如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

**总结：`HDFS`块的大小设置主要取决于磁盘传输速率**。

# 二、HFDS的Shell操作 #

基本语法：`hadoop fs 具体命令`或`hdfs dfs 具体命令`

**①-help：输出这个命令参数**

[root@hadoop100 hadoop-2.7.2]# hadoop fs -help rm
    -rm [-f] [-r|-R] [-skipTrash] <src> ... :
      Delete all files that match the specified file pattern. Equivalent to the Unix
      command "rm <src>"
                                                                                     
      -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>   
      -f          If the file does not exist, do not display a diagnostic message or 
                  modify the exit status to reflect an error.                        
      -[rR]       Recursively deletes directories

**②-ls: 显示目录信息**

[root@hadoop100 hadoop-2.7.2]# hadoop fs -ls /
    Found 3 items
    drwxr-xr-x   - root supergroup          0 2020-05-21 19:54 /output
    drwxr-xr-x   - root supergroup          0 2020-05-21 19:50 /test
    drwx------   - root supergroup          0 2020-05-21 19:54 /tmp

**③-mkdir：在HDFS上创建目录**

[root@hadoop100 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hucheng

**④-moveFromLocal：从本地剪切粘贴到HDFS**

[root@hadoop100 hadoop-2.7.2]# hadoop fs -moveFromLocal ./jpsall.sh /user/hucheng

**⑤-appendToFile ：追加一个文件到已经存在的文件末尾**

[root@hadoop100 ~]# hadoop fs -appendToFile test.txt /user/hucheng/jpsall.sh

**⑥-cat：显示文件内容**

[root@hadoop100 ~]# hadoop fs -cat /user/hucheng/jpsall.sh

**⑦-chgrp 、-chmod、-chown修改文件所属权限**

[root@hadoop100 ~]# hadoop fs -chmod +x /user/hucheng/jpsall.sh

**⑧-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去**

[root@hadoop100 ~]# hadoop fs -copyFromLocal README.txt /user/hucheng

**⑨-copyToLocal:从HDFS拷贝到本地**

[root@hadoop100 ~]# hadoop fs -copyToLocal /user/hucheng/jpsall.sh ./

**⑩-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径**

[root@hadoop100 ~]# hadoop fs -cp /user/hucheng/jpsall.sh /

**⑪-mv：在HDFS目录中移动文件**

[root@hadoop100 ~]# hadoop fs -mv /readme.txt /user/hucheng

**⑫-get：等同于copyToLocal，就是从HDFS下载文件到本地**

[root@hadoop100 ~]# hadoop fs -get /user/hucheng/jpsall.sh ./

**⑬-getmerge：合并下载多个文件**

[root@hadoop100 ~]# hadoop fs -getmerge /user/hucheng/logs/* ./logs.txt

**⑭-put：等同于copyFromLocal**

[root@hadoop100 ~]# hadoop fs -put ./jpsall.sh /user/hucheng

**⑮-tail：显示一个文件的末尾**

[root@hadoop100 ~]# hadoop fs -tail /user/hucheng/jpsall.sh

**⑯-rm：删除文件或文件夹**

[root@hadoop100 ~]# hadoop fs -rm /user/hucheng/jpsall.sh

**⑰-rmdir：删除空目录**

[root@hadoop100 ~]# hadoop fs -rmdir /test

**⑱-du统计文件夹的大小信息**

[root@hadoop100 ~]# hadoop fs -du -h /user/hucheng
    171  /user/hucheng/jpsall.sh

**⑲-setrep：设置HDFS中文件的副本数量**

[root@hadoop100 ~]# hadoop fs -setrep 10 /user/hucheng/jpsall.sh

这里设置的副本数只是记录在`NameNode`的元数据中，是否真的会有这么多副本，还得看`DataNode`的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

# 三、HFDS客户端操作 #

**①配置HDFS客户端环境**

配置`HADOOP_HOME`和`PATH`

**②引入依赖**

<dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.2</version>
    </dependency>

**③API操作**

public class HdfsClientTest { 
    
        private FileSystem fileSystem;
    
        @Before
        public void before() throws URISyntaxException, IOException, InterruptedException { 
            //这个user需要是在HDFS上有操作权限的用户
            fileSystem = FileSystem.get(new URI("hdfs://hadoop100:9000"), new Configuration(), "root");
        }
    
        @After
        public void after() throws IOException { 
            fileSystem.close();
        }
    
        /** * 上传 */
        @Test
        public void testUpload() throws IOException { 
            fileSystem.copyFromLocalFile(new Path("d:/HelloDFS.txt"), new Path("/test"));
        }
    
        /** * 创建文件夹 */
        @Test
        public void testMkdirs() throws IOException { 
            //获取文件配置
            fileSystem.mkdirs(new Path("/test2"));
        }
    
        /** * 删除文件夹 */
        @Test
        public void testDelDirs() throws IOException { 
            fileSystem.delete(new Path("/test2"), true);
        }
    
        /** * 更改文件名 */
        @Test
        public void testRenameFile() throws IOException { 
            fileSystem.rename(new Path("/test/HelloDFS.txt"), new Path("/test/hello.txt"));
        }
    
        /** * 获取文件详情 */
        @Test
        public void testFileDetail() throws IOException { 
            RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/test"), true);
            while (files.hasNext()) { 
                LocatedFileStatus fileStatus = files.next();
                //判断是否是文件
                System.out.println(fileStatus.isFile());
                //文件名
                System.out.println(fileStatus.getPath().getName());
                //长度
                System.out.println(fileStatus.getLen());
                //权限
                System.out.println(fileStatus.getPermission());
                //分组
                System.out.println(fileStatus.getGroup());
                //获取存储块信息
                BlockLocation[] blockLocations = fileStatus.getBlockLocations();
                for (BlockLocation blockLocation : blockLocations) { 
                    String[] hosts = blockLocation.getHosts();
                    for (String host : hosts) { 
                        System.out.print(host + " ");
                    }
                    System.out.println();
                }
            }
    
        }
    }

[20200522161424221.png]: https://img-blog.csdnimg.cn/20200522161424221.png