Hadoop HDFS 基本原理(文件上传 & 文件下载 & NameNode & Secondary NameNode)

水深无声 2022-02-24 11:55 236阅读 0赞

### 前言 ###

在前面的几章内,我们介绍了[Hadoop Shell 命令 与 WordCount][Hadoop Shell _ _ WordCount]与[Hadoop HDFS的Java API使用][Hadoop HDFS_Java API]. 本章我们稍微讲解下`Hadoop的客户端提交`、`Hadoop服务端` 、`Secondary namenode原理`.

--------------------

### 概述 ###

*  HDFS集群分为2大角色: `NameNode` 与 `DataNode/Secondary NameNode`.
 *  `NameNode`负责整个文件系统的原数据.
 *  `DataNode`负责管理用户的文件数据块.
 *  文件会被按照固定大小(blocksize)切分成若干块后分布式存储在若干台`NameNode`上.
 *  每一个文件有多个副本(Replication), 并放在不同的`datanode`上.
 *  `datanode`会定期汇报自身所保存的文件的`block`信息, 而`namenode`则会负责保持文件的副本数量.
 *  HDFS的内部机制对客户端保持透明, 客户端请求访问HDFS都是通过向`namenode`申请来进行.

--------------------

### 客户端写文件基本流程 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]

1.  客户端向`namenode`结点发送请求上传文件(例如: `/hello.sh`).
2.  `namenode`响应可以上传.
3.  `RPC`请求上传第一个`block(0-128M)`, 请返回`DataNode`.
4.  适配符合的`datanode`(例如: `sean60/sean61`). 考虑因素(空间/距离)  
    4.1. 第一个考虑距离`client`端最近的结点;  
    4.2. 第二个再另外一个虚拟机上挑选一个`datanode`进行拷贝.  
    4.3 第三个考虑不同机架上的`datanode`结点.(机架感知-配置)
5.  请求建立block传输通道channel.  
    5.1 `pipeline`同机器间请求建立通道.  
    5.2 `pipeline`请求建立通道
6.  请求成功, 开始传输数据.  
    6.1 应答成功.  
    6.2 应答成功.

*  注: 每次传输`packet`时,有一个`64K`的缓冲池.
    
     *  相同管道流内是同步进行传输.
     *  当一个`datanode`上传输完成后即完成, 没必要等待所有的副本都传输完成.
     *  传输时, `chunk`是以`512Byte`进行校验.

--------------------

### 客户端读文件基本流程 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]

1.  客户端向`namenode`结点发送请求下载某个文件(例如: `/hello.sh`).
2.  `namenode`响应, 并将存储的结点信息通知客户端.(例如: `/hello.sh ({BLK_1, BLK_2} {BLK_1: sean60,sean62})`)
3.  客户端根据返回信息, 查询BLK, 并且选择其中的一个BLK, 与其建立管道.
4.  `BLK`所在的`datanode`响应信息, 建立`Socket`管道, 开始传输数据.
5.  对于其他块, 重复上述的3, 4两个步骤.

--------------------

### NameNode & Secondary NameNode 基本运行机制 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]

##### NameNode的工作流程 #####

1.  更新内容(增删查改等操作).
2.  记录操作日志(`edits.inprocess`\-`edits.0002`/`edits.0003`)

##### SecondaryNameNode的工作流程 #####

1.  `SecondaryNameNode`向`NameNode`请求是否需要`checkPoint`.
2.  请求`checkpoint`.
3.  `namenode`滚动正在写的`edits`.
4.  `secondary name node`下载滚动的文件到本地.
5.  `secondary name node`将文件加载到内存并合并.
6.  `secondary name node` dump新的`image`文件.
7.  `secondary name node`将新的`image`文件上传到`namenode`目录下.
8.  `namenode`将下载的`image`文件其重命名为`fsimage`.

*  注: 格式化命令`hdfs namenode -format [-cluster <cluster_id>]`
 *  `dfs.namenode.dir.current`目录下,`format`同时也会生成`fsimage`与`edits`文件, 及与其对应的md5校验文件.
 *  `seen_txid`文件记录的是`edits`滚动的序号, 每次重启`namenode`时, `namenode`就知道哪些`edits`进行加载`edit`.

##### DataNode相关信息 #####

*  `dfs.blockreport.inervalMsec`汇报时间(1H默认).
 *  `heartbeat.recheck.interval` 心跳机制(10分钟30秒).

--------------------

### Q&A ###

> Q1: NameNode如果宕机, hdfs是否还能够继续执行?  
> A1: 不能. `Secondary Name Node`并不具有`NameNode`的权限与职能.

> Q2: 如果`NameNode`的磁盘损坏, 元数据是否还能恢复? 如果需要恢复, 如何恢复?  
> A2: 能恢复绝大部分内容. 将`Secondary Name Node`的部分拷贝到`NameNode`目录下即可.

> Q3: 通过以上思考, 在配置`NameNode`工作目录时, 有什么注意点?  
> A3: 尽量将`Secondary NameNode`与`NameNode`的工作目录分开存放. `NameNode`的有时也可以配置在多块磁盘上.`dfs.namenode.name.dir`也可以配置多块磁盘.`/data1/dfs/name,/data2/dfs/name,/data3/dfs/name`.

[Hadoop Shell _ _ WordCount]: https://blog.csdn.net/u010416101/article/details/88915893
[Hadoop HDFS_Java API]: https://blog.csdn.net/u010416101/article/details/88984618
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: /images/20220224/ccd8ae0cfe904ae880ec30ef9aa122fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: /images/20220224/ec439c5fb3fb452ea50e6a15e25f4b0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: /images/20220224/e8ddba76991a43ce997da8fdb696d15f.png