HDFS记录(零)

╰半夏微凉° 2022-09-04 10:58 119阅读 0赞

# HDFS记录(零) #

--------------------

### 文章目录 ###

*  HDFS记录(零)
 *   *  1. 概述
     *   *  1.1 背景定义
         *  1.2优缺点
         *  1.3 HDFS组成架构
         *  1.4 文件块大小
     *  2. HDFS的shell操作
     *   *  2.1 准备工作
         *  2.2 上传
         *  2.3 下载
         *  2.4 HDFS直接操作
     *  3. Hadoop API操作
     *   *  3.1 创建文件夹
         *  3.2 上传
         *  3.4 下载
         *  3.5 删除
         *  3.6 移动和更名
         *  3.7 查看文件详细信息
     *  4. HDFS读写流程
     *   *  4.1 HDFS写数据流程
         *   *  4.1.1 写入流程
             *  4.1.2 网络拓扑-节点距离计算
             *  4.1.3 机架感知（副本存储节点选择）
         *  4.2 HDFS读数据流程
     *  5. NameNode和SecondaryNameNode
     *   *  5.1 工作机制
         *  5.2 Fsimage和Edits解析
         *  5.4 CheckPoint时间设置
     *  6. DataNode
     *   *  6.1 DataNode工作机制
         *  6.2 数据完整性
         *  6.3 掉线时限参数设置

--------------------

> 学习尚硅谷笔记记录

## 1. 概述 ##

### 1.1 背景定义 ###

HDFS：Hadoop Distributed File System

是一个分布式文件系统

HDFS使用场景：适合一次写入，多次读出的场景，修改原数据不太行，但可以追加，一个文件经过创建、写入和关闭之后就不需要改变

### 1.2优缺点 ###

优点：

*  高容错性
    
     *  数据保存多个副本
 *  适合处理大数据
    
     *  数据规模能够处理数据规模达到GB，TB甚至PB级别的数据
     *  文件规模能够处理百万规模以上的文件数量
 *  可构建在廉价机器上，通过多副本机制，提高可靠性

缺点：

*  不适合低延时数据访问，毫秒级别访问做不到
 *  无法高效对大量小文件进行存储
    
     *  大量小文件会占用NameNode大量的内存来存储文件目录和块信息
     *  小文件存储的寻址时间会超过读取时间，他违反了HDFS的设计目标
 *  不支持并发写入，文件随机修改
    
     *  一个文件只能有一个写，不允许多个线程同时写
     *  仅支持数据追加append，不支持文件随机修改

### 1.3 HDFS组成架构 ###

![HDFS Architecture][]

1）NameNode

就是Master，它是一个主管，管理者

*  管理HDFS名称空间
 *  配置副本策略
 *  管理数据块映射信息
 *  处理客户端读写请求

2）DataNode

就是Slave，Namenode下达命令，DataNode执行实际的操作

*  存储实际的数据块
 *  执行数据块的读写操作

3）SecondaryNameNode

不是NameNode的热备份，当NameNode挂掉的时候不能直接替换NameNode并提供服务

*  定期合并Fsimages和Edits，并推送给NameNode
 *  在紧急情况下，可辅助恢复NameNode

4）Client

*  文件切分。文件上传HDFS时，client将文件切分成一个一个的Block，然后上传
 *  与NameNode交互读取文件位置信息
 *  与DataNode交互，读取或写入数据
 *  Client提供一些命令来管理HDFS，比如格式化
 *  Client可以通过一些命令访问HDFS，比如对HDFS增删改查

### 1.4 文件块大小 ###

Hadoop2.x/3.x是128M，1.x中是64M

可以通过配置hdfs-default.xml参数（dfs.blocksize）来规定

如果寻址时间约为10ms，即查找到目标block的时间为10ms

寻址时间为传输时间的1%时，则为最佳状态，因此

传输时间=10ms/1%=1000ms=1s

目前磁盘传输速率普遍为100MB/s

所以默认一个块大小128M，和100MB/s最接近，如果是固态硬盘，读写速率能达到200-300M，那可以修改默认块大小为256M

总结：HDFS块大小设置主要取决于磁盘传输速率

## 2. HDFS的shell操作 ##

### 2.1 准备工作 ###

# 启动集群
    myhadoop start
    # 创建sanguo文件夹
    hadoop fs -mkdir /sanguo

### 2.2 上传 ###

# 创建shuguo.txt
    vim shuguo.txt
    # 从本地剪切粘贴到HDFS
    hadoop fs -moveFromLocal ./shuguo.txt /sanguo
    # 从本地文件系统中拷贝文件到HDFS路径去
    hadoop fs -copyFromLocal ./shuguo.txt /sanguo
    # -put等同于-copyFromLocal，生产环境更习惯用put
    hadoop fs -put ./shuguo.txt /sanguo
    # 追加一个文件到已经存在的文件末尾,如果文件不存在就创建一个新文件
    hadoop fs -appendToFile ./liubei.txt /sanguo/shuguo.txt

### 2.3 下载 ###

# 从HDFS拷贝到本地
    hadoop fs -copyToLocal /sanguo/shuguo.txt ./
    hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

### 2.4 HDFS直接操作 ###

# 显示目录信息
    hadoop fs -ls /sanguo
    # 显示文件内容
    hadoop fs -cat /sanguo/shuguo.txt
    # chgrp,chmod,chown
    hadoop fs -chmod 666 /sanguo/shuguo.txt
    hadoop fs -chown rh:rh /sanguo/shuguo.txt
    # 创建路径
    hadoop fs -mkdir /jinguo
    # 拷贝路径
    hadoop fs -cp /sanguo/shuguo.txt /jinguo
    # 移动文件
    hadoop fs -mv /sanguo/weiguo.txt /jinguo
    # 显示一个文件的末尾1kb的数据
    hadoop fs -tail /jinguo/shuguo.txt
    # 删除文件或文件夹
    hadoop fs -rm /sanguo/shuguo.txt
    # 递归删除
    hadoop fs -rm -r /sanguo
    # 统计文件夹大小信息
    hadoop fs -du -s -h /jinguo
    27 81 /jinguo
    说明：27代表文件大小，81表示27*3个副本
    hadoop fs -du -h /jinguo
    14 42 /jinguo/shuguo.txt
    7 21 /jinguo/weiguo.txt
    6 18 /jinguo/wuguo.txt
    # 设置HDFS中文件的副本数量
    hadoop fs -setrep 10 /jinguo/shuguo.txt

这里的副本数只是记录在NameNode的元数据中，是否真的有这么多副本，取决于DataNode的数量，现在只有3台节点，最多也就3个副本，只有节点数增加到10时，副本数才能达到10

## 3. Hadoop API操作 ##

步骤：

1.  获取一个客户端对象
2.  执行相关的操作命令
3.  关闭资源

HDFS和zookeeper类似操作

### 3.1 创建文件夹 ###

package edu.tyut.hdfs;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    /**
     * @author Ricardo Jia
     * @description
     * @since 2021-08-09
     */
    public class HdfsClient {
        
    
        private FileSystem fs;
    
        public void init() throws URISyntaxException, IOException, InterruptedException {
        
            // 创建uri
            URI uri = new URI("hdfs://rhnode2:8020");
            //创建配置文件
            Configuration configuration = new Configuration();
            //获取FileSystem对象
            fs = FileSystem.get(uri, configuration, "rh");
        }
    
        public void close() throws IOException {
        
            fs.close();
        }
    
        @Test
        public void testMkdir() throws URISyntaxException, IOException, InterruptedException {
        
            //初始化
            init();
            //操作fs对象
            fs.mkdirs(new Path("/sanguo"));
            //关闭资源
            close();
        }
    }

### 3.2 上传 ###

@Test
        public void testUpload() throws IOException, URISyntaxException, InterruptedException {
        
            //初始化
            init();
            // param1:是否删除源文件 param2:若有同名是否覆盖 param3:文件地址 param4:hdfs地址
            fs.copyFromLocalFile(false,true,new Path("D:\\ricardofiles\\testFiles\\huaguoshan.txt"),new Path("hdfs://rhnode2/xiyouji/huaguoshan.txt"));
            //关闭资源
            close();
        }

参数优先级

从小到大：hdfs-default.xml < hdfs-site.xml < 项目目录下resources中的配置文件 < 代码中的configuration

### 3.4 下载 ###

@Test
        public void testGet() throws URISyntaxException, IOException, InterruptedException {
        
            //init
            init();
            //param1:是否删除源文件 param2:hdfs上路径 param3:下载到本地路径 param4:是否使用crc校验,默认是false，会生成一个.crc文件
            fs.copyToLocalFile(false,new Path("hdfs://rhnode2/testinput"),new Path("D:\\ricardofiles\\testFiles"),true);
            //关闭资源
            close();
        }

### 3.5 删除 ###

//param1 删除路径，param2 是否递归删除
    fs.delete(new Path("/xxx"),false)

### 3.6 移动和更名 ###

fs.rename()

### 3.7 查看文件详细信息 ###

@Test
        public void testList() throws URISyntaxException, IOException, InterruptedException {
        
            init();
            RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("hdfs://rhnode2/xiyouji"), true);
            while (files.hasNext()) {
        
                LocatedFileStatus fileStatus = files.next();
                System.out.println("======="+fileStatus.getPath()+"===========");
                System.out.println(fileStatus.getPermission());
                System.out.println(fileStatus.getOwner());
                System.out.println(fileStatus.getPath().getName());
                //获取块信息
                BlockLocation[] blockLocations = fileStatus.getBlockLocations();
                System.out.println(Arrays.toString(blockLocations));
                close();
            }

![image-20210810184101452][]

默认块大小128M，第一块就是0-128M，第二块就是从128M开始到后面

## 4. HDFS读写流程 ##

### 4.1 HDFS写数据流程 ###

#### 4.1.1 写入流程 ####

![image-20210810191628408][]

1.  首先客户端向NameNode请求上传文件/user/atguigu/ss.avi
2.  NameNode检查目录树是否可以创建文件：检查权限，检查是否存在
3.  NameNode响应可以上传数据
4.  客户端请求上传第一个块block（0-128M），请求返回可存放的DataNode
5.  NameNode返回datanode1，datanode2，datanode3三个节点存放数据
6.  客户端生成一个FSDataOutputStream输出流，请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成
7.  dn1，dn2，dn3逐级应答客户端
8.  客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3。dn1每传一个packet就会放入一个应答队列等待应答
9.  当一个block传输完成之后，客户端在其请求NameNode上传第二个block的服务器
10. 重复执行4-9步

为什么是dn1是第一个节点？两个原则：节点距离最近，负载均衡

#### 4.1.2 网络拓扑-节点距离计算 ####

在HDFS写数据过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据

节点距离：两个节点到达最近的共同父级的距离总和

![image-20210810194151901][]

#### 4.1.3 机架感知（副本存储节点选择） ####

![image-20210810195101676][]

### 4.2 HDFS读数据流程 ###

![image-20210810195909424][]

1.  客户端请求NameNode下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址
2.  挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据
3.  DataNode开始传输数据给客户端（从磁盘里读取数据输入流，以Packet为单位来做校验）
4.  客户端以Packet为单位接收，现在本地缓存，然后写入目标文件

先从最近的dn1读取第一个block，然后如果dn1负载过大，那么会从dn2读取第二个block，但注意，读取block是串行读取，先读完第一个block才开始读取第二个block，不能并行读取。

## 5. NameNode和SecondaryNameNode ##

### 5.1 工作机制 ###

元数据存放在内存之中，如果断电，元数据丢失，集群就崩溃了，因此，产生在磁盘中备份元数据的FsImage

同时引入Edits文件（只进行追加操作，提高效率），每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中，如此一来，NameNode通过FsImage和Edits的合并，得到元数据。

如果长时间添加数据到Edits中，会导致Edits数据过大，因此需要定期进行FsImage和Edits进行合并，因此，引入SecondaryNameNode，专门用于FsImage和Edits的合并。

![image-20210810204333495][]

1）第一阶段：NameNode启动

1.  第一次启动NameNode格式化之后，创建FsImage和Edits文件，之后启动NameNode，直接加载Edits和FsImage文件合并到内存中
2.  客户机请求对数据进行增删改
3.  NameNode记录操作日志，写入Edits中
4.  然后再将内存中的元数据进行增删改

2）第二阶段：SecondaryNameNode工作

1.  2NN有一个检查点checkpoint，定时时间到和Edits数据满都会触发checkpoint
2.  2NN请求执行CheckPoint
3.  NameNode将目前的Edits打包生成edits\_001，然后生成edits\_inprogress\_002，也就是新的Edits文件，此时新的增删改日志都记录在新生成的Edits文件之中
4.  将生成的edits\_001和FsImage拷贝到2NN
5.  2NN加载Edits文件和FsImage到内存，并进行合并
6.  生成新的FsImage.chkpoint
7.  拷贝FsImage.chkpoint到NameNode
8.  NameNode重新命名chkpoint为FsImage文件

### 5.2 Fsimage和Edits解析 ###

![image-20210810212909759][]

1.  FsIamge文件：元数据的一个永久性的检查点，包含所有HDFS文件系统的所有目录和文件inode序列化信息
2.  Edits文件：记录增删改操作，客户端请求写操作先被记录到该文件中，然后才进行真正的写入操作
3.  seen\_txid：保存的是一个数字，最后一个edits的数字
4.  每次NameNode启动的时候都会将FsIMage文件读入内存，加载Edits文件记录的操作，保证内存中的元数据是最新的，同步的。

查看FsImage文件

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径
    hdfs oiv -p XML -i 
    fsimage_0000000000000000025 -o /opt/hadoop-3.1.3/fsimage.xml

查看Edits文件

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径
    hdfs oev -p XML -i
    edits_0000000000000000012-0000000000000000013 -o /opt/hadoop-3.1.3/edits.xml

### 5.4 CheckPoint时间设置 ###

默认是1小时（3600s）

1百万次操作进行一次检查

2NN每隔60s查看是不是到了1百万次

## 6. DataNode ##

### 6.1 DataNode工作机制 ###

![image-20210810214720291][]

### 6.2 数据完整性 ###

1.  DataNode读取block时会计算CheckSum
2.  如果不一样，说明block已经损坏
3.  如果损坏会读取其他datanode的block
4.  常见算法crc（32），md5（128），sha1（160）
5.  文件创建后周期性验证

### 6.3 掉线时限参数设置 ###

![image-20210811173957306][]

需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒， dfs.heartbeat.interval 的单位为秒。

![image-20210811174035432][]

[HDFS Architecture]: /images/20220829/141e03b4a17940d690f70692286d01b1.png
[image-20210810184101452]: /images/20220829/63cf73d4014d4823808c2f5ec3f39b57.png
[image-20210810191628408]: /images/20220829/d61624a706034f379886c95a7284e77f.png
[image-20210810194151901]: /images/20220829/306265267b9245ab924f3f0e926808b1.png
[image-20210810195101676]: /images/20220829/e4a69ad13b5a49fca388074fd7f01c3c.png
[image-20210810195909424]: /images/20220829/db58e09c73f244d79e0a876259287bf6.png
[image-20210810204333495]: /images/20220829/f271d5593533417d8c474ddc4a9817f3.png
[image-20210810212909759]: /images/20220829/00495c9cb41e4f0fbc070c48d339bf07.png
[image-20210810214720291]: /images/20220829/bce6e998d3044ae4a885c7f749b4796c.png
[image-20210811173957306]: /images/20220829/e6ada9da81c743ae9ffbc4611156f49b.png
[image-20210811174035432]: /images/20220829/beacb08ddc9d400098413ce8db88830c.png