HDFS的存储原理

快来打我* 2024-03-03 09:06 80阅读 0赞

### 1、存储原理 ###

#### 1.1、HDFS分布式文件存储 ####

将文件分为集群节点的部分数，分别存入每个节点中。  
![在这里插入图片描述][3499c48cb17441a99005e2b1ce59f16f.png]  
![在这里插入图片描述][c0ae217bb19d4a03abd67bc2b2287452.png]

#### 1.2、问题：文件大小不一，不利于统一管理 ####

##### 1.2.1、问题：文件大小不一，不利于统一管理 #####

![在这里插入图片描述][d4450665ac884cceb1635a65897dcc77.png]![在这里插入图片描述][3126848df31040378cf72217f043c8c8.png]

##### 1.2.2、解决：设定统一的管理单位，block块 #####

![在这里插入图片描述][531fce48371b45f98a7f3884088cd334.png]

![在这里插入图片描述][54b90d036c64462e995e72bed7b20f30.png]  
![在这里插入图片描述][7aa210b592c74a2f84f53e1075443f59.png]

#### 1.3、问题：如果丢失或损坏了某个Block块呢？ ####

##### 1.3.1、问题：如果丢失或损坏了某个Block块 #####

![在这里插入图片描述][a51c48c880774784a862936ba1037188.png]

##### 1.3.2、解决：通过副本（备份） #####

![在这里插入图片描述][b438433bea6b4274a9a449ee466207ca.png]  
![在这里插入图片描述][f7badfe08bec4041a364025ab2a702fc.png]

![在这里插入图片描述][b422b59a40cd4ee785dbdedff89f7ada.png]  
![在这里插入图片描述][67e4c9a56ee843e49bd46fff1a5b8695.png]  
![在这里插入图片描述][c246462aca684122be995d29791ce09e.png]

### 2、fsck命令 ###

#### 2.1、HDFS副本块数量的配置 ####

##### 2.1.1、系统设置 #####

在前面我们了解了HDFS文件系统的数据安全，是依靠多个副本来确保的。  
如何设置默认文件上传到HDFS中拥有的副本数量呢？可以在hdfs-site.xml中配置如下属性：

<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

这个属性默认是3，一般情况下，我们无需主动配置（除非需要设置非3的数值）。

如果需要自定义这个属性，请修改每一台服务器的hdfs-site.xml文件，并设置此属性。

##### 2.1.2、上传时命令设置 #####

除了配置文件外，我们还可以在上传文件的时候，临时决定被上传文件以多少个副本存储。

hadoop fs -D dfs.replication=2 -put text.txt /tmp/

![在这里插入图片描述][85c31e19ed5748f8a7160bc708d713e3.png]

如上命令，就可以在上传test.txt的时候，临时设置其副本数为2。

##### 2.1.3、对已存在的文件修改 #####

对于已经存在HDFS的文件，修改dfs.replication属性不会生效，如果要修改已存在文件可以通过命令

hadoop fs -setrep [-R] 2 path

![在这里插入图片描述][c01ceff4fbd444769159c26c2206d899.png]![在这里插入图片描述][824dcd9956f9422880112c1506576d8c.png]

如上命令，指定path的内容将会被修改为2个副本存储。

\-R选项可选，使用-R表示对子目录也生效。

#### 2.2、fsck命令检查文件的副本数 ####

我们可以使用hdfs提供的fsck命令来检查文件的副本数

hdfs fsck path [-files [-blocks [-locations]]]

fsck可以检查指定路径是否正常

##### 2.2.1、列出路径内的文件状态 #####

\-files可以列出路径内的文件状态

hdfs fsck /it/fb -files

![在这里插入图片描述][b58de4904e624d158909686044658f05.png]

##### 2.2.2、输出文件块报告 #####

\-files -blocks 输出文件块报告（有几个块，多少副本）

hdfs fsck /it/fb -files -blocks

![在这里插入图片描述][789d466c524c4197a6b74ec7b905a3c9.png]

##### 2.2.3、输出每一个block的详情 #####

\-files -blocks -locations 输出每一个block的详情

hdfs fsck /it/fb -files -blocks -locations

![在这里插入图片描述][e56e8fb3203d4142beb2c05838a3ee1f.png]

#### 2.3、block配置 ####

可以看到通过fsck命令我们验证了：

*  文件有多个副本
 *  文件被分成多个块存储在hdfs

对于块（block），hdfs默认设置为256MB一个，也就是1GB文件会被划分为4个block存储。

块大小可以通过参数：

<property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <description>设置HDFS块大小，单位是b</description>
      </property>

如上，设置为256MB

### 3、NameNode元数据 ###

#### 3.1、edits文件 ####

在hdfs中，文件是被划分了一堆堆的block块，那如果文件很大、以及文件很多，Hadoop是如何记录和整理文件和block块的关系呢？

答案就在于NameNode  
![在这里插入图片描述][a9e020f4afaf4beba3b7abf65d0dea04.png]

edits文件，是一个流水账文件，记录了hdfs中的每一次操作，以及本次操作影响的文件其对应的block。

edits记录每一次HDFS的操作逐渐变得越来越大。

![在这里插入图片描述][6082655add0f42e3baadcd3885910c24.png]  
![在这里插入图片描述][abc8ce684e3a41b8bf0cacada04257ef.png]

问题在于，当用户想要查看某文件内容，如：/tmp/data/test.txt  
就需要在全部的edits中搜索（还需要按顺序从头到尾，避免后期改名或删除），效率非常低。  
![在这里插入图片描述][b83c4306406d48e6be452af13d72ccc5.png]

#### 3.2、fsimage文件 ####

将全部的edits文件，合并为最终结果，即可得到一个FSImage文件。  
![在这里插入图片描述][d0b566a111b1430db1ac402d14f3be55.png]

#### 3.3、NameNode元数据管理维护 ####

NameNode基于edits和FSImage的配合，完成整个文件系统文件的管理。

1.  每次对HDFS的操作，均被edits文件记录
2.  edits达到大小上线后，开启新的edits记录
3.  定期进行edits的合并操作  
    如当前没有fsimage文件， 将全部edits合并为第一个fsimage。  
    如当前已存在fsimage文件，将全部edits和已存在的fsimage进行合并，形成新的fsimage。

#### 3.4、元数据合并控制参数 ####

对于元数据的合并，是一个定时过程，基于：

*  dfs.namenode.checkpoint.period，默认3600（秒）即1小时
 *  dfs.namenode.checkpoint.txns，默认1000000，即100W次事务

只要有一个达到条件就执行。

检查是否达到条件，默认60秒检查一次，基于：

*  dfs.namenode.checkpoint.check.period，默认60（秒），来决定

#### 3.5、SecondaryNameNode的作用 ####

对于元数据的合并，还记得HDFS集群有一个辅助角色：SecondaryNameNode吗？  
![在这里插入图片描述][6fec93d0ff624d9abd08b774fae2a140.png]

没错，合并元数据的事情就是它干的

*  SecondaryNameNode会通过http从NameNode拉取数据（edits和fsimage）
 *  然后合并完成后提供给NameNode使用。

### 4、HDFS数据的读写流程 ###

#### 4.1、数据写入流程 ####

1.  客户端向NameNode发起请求
2.  NameNode审核权限、剩余空间后，满足条件允许写入，并告知客户端写入的DataNode地址
3.  客户端向指定的DataNode发送数据包
4.  被写入数据的DataNode同时完成数据副本的复制工作，将其接收的数据分发给其它DataNode
5.  如图，DataNode1复制给DataNode2，然后基于DataNode2复制给Datanode3和DataNode4
6.  写入完成客户端通知NameNode，NameNode做元数据记录工作。  
    ![在这里插入图片描述][994e1e18ebd14f0fa1f25a7e0bfdba71.png]

关键信息点：

*  NameNode不负责数据写入，只负责元数据记录和权限审批。
 *  客户端直接向1台DataNode写数据，这个DataNode一般是离客户端最近（网络距离）的那一个。
 *  数据块副本的复制工作，由DataNode之间自行完成（构建一个PipLine，按顺序复制分发，如图1给2, 2给3和4）。

#### 4.2、数据读取流程 ####

1.  客户端向NameNode申请读取某文件。
2.  NameNode判断客户端权限等细节后，允许读取，并返回此文件的block列表。
3.  客户端拿到block列表后自行寻找DataNode读取即可。

![在这里插入图片描述][790d2c455a834d36bd60876c338c0886.png]

结束！！！！！！  
hy:35

--------------------

不要对人性抱以过高的期待，永远要警惕人性深处的幽暗，法治的前提就是对人性败坏的假设。

[3499c48cb17441a99005e2b1ce59f16f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4484efd718b340919555de570311e391.png
[c0ae217bb19d4a03abd67bc2b2287452.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/fac9bca10b6643669b0ca225324a0565.png
[d4450665ac884cceb1635a65897dcc77.png]: https://img-blog.csdnimg.cn/d4450665ac884cceb1635a65897dcc77.png
[3126848df31040378cf72217f043c8c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/499a45b8574d4052a01050354797af50.png
[531fce48371b45f98a7f3884088cd334.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/666801134a04472ba2e7fa6a57c86423.png
[54b90d036c64462e995e72bed7b20f30.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/699c8bbb7e474bd1a96faf1b00aaa9a7.png
[7aa210b592c74a2f84f53e1075443f59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/953f595424164b238b16b049c71986f7.png
[a51c48c880774784a862936ba1037188.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/aa74c76e5d2c47d189bc168857d6ec6a.png
[b438433bea6b4274a9a449ee466207ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/ff02019b355d4adaaf1f9a8770c54046.png
[f7badfe08bec4041a364025ab2a702fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/ea24ad8c130544fdad7374cdcf40441e.png
[b422b59a40cd4ee785dbdedff89f7ada.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/f5506d36d299464baa8763ea5870d65f.png
[67e4c9a56ee843e49bd46fff1a5b8695.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/ce7a6baa984f42ffa29e7a12ea381405.png
[c246462aca684122be995d29791ce09e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/dc8275a610674379913f5d04dbad22aa.png
[85c31e19ed5748f8a7160bc708d713e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4b0a711cd78648049678e5f896b331e9.png
[c01ceff4fbd444769159c26c2206d899.png]: https://img-blog.csdnimg.cn/c01ceff4fbd444769159c26c2206d899.png
[824dcd9956f9422880112c1506576d8c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4126b9ab57644dfdbe8b5b8192e0eaf6.png
[b58de4904e624d158909686044658f05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/b90550f067d944559ced708d5b86ad4f.png
[789d466c524c4197a6b74ec7b905a3c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/2cdee9a914ba40c6a25d4a403e72e1ed.png
[e56e8fb3203d4142beb2c05838a3ee1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/8c5d3660fb314e588f1e0e9332885e65.png
[a9e020f4afaf4beba3b7abf65d0dea04.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4e61c75e520e4b6e888bcbe8bd6a4d86.png
[6082655add0f42e3baadcd3885910c24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/01a9824750d44266b3b554ef46ceae2d.png
[abc8ce684e3a41b8bf0cacada04257ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4b2cd016266a43c0ad922643dd3cee6f.png
[b83c4306406d48e6be452af13d72ccc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/7272033458b34c39a3455fa5ddc52ff1.png
[d0b566a111b1430db1ac402d14f3be55.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/fec0ab1d88314eeb8542dfa204b249d5.png
[6fec93d0ff624d9abd08b774fae2a140.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d793cbfb17c14c12918930757a71b89f.png
[994e1e18ebd14f0fa1f25a7e0bfdba71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e01f2d3b65fb44dab6246d795057b618.png
[790d2c455a834d36bd60876c338c0886.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/605753dd6cae44038911a596528d75c5.png