轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.4 HDFS架构【重要必掌握】

Bertha 。 2024-03-22 12:51 61阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.4 HDFS架构【重要!必掌握】
                 *   *  NameNode and DataNodes

![在这里插入图片描述][041b06f23bc94260a72920a3bbc0963e.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.4 HDFS架构【重要!必掌握】 ######

###### NameNode and DataNodes ######

HDFS 具有**主/从**架构。一个 HDFS 集群由**一个 NameNode**【管理者老大，它管的是文件系统命名空间】 组成，一个管理文件系统命名空间并控制客户端对文件访问的主服务器。此外，还有**许多数据节点** DataNode，通常是集群中的每个节点一个，它们管理连接到它们运行的节点的存储。HDFS 公开了一个文件系统命名空间，并允许将用户数据存储在文件中。在内部，一个文件被分割成一个或多个块，这些块存储在一组数据节点中。NameNode 执行文件系统命名空间操作，如打开、关闭和重命名文件和目录。它还确定块到数据节点的映射。DataNode 负责处理来自文件系统客户端的读写请求。DataNodes 还执行块创建、删除、副本指令。

![在这里插入图片描述][797f8fc2f7c34eefb37cdf872e98fdca.png_pic_center]

a master/slave architecture  
    一个**老大/多个小弟**的架构
    
    a file is split into one or more blocks and these blocks are stored in a set of DataNodes
    	一个文件会被拆分成1或者多个block(块)，然后块是存储在DN上
    	块是有大小的  10M【假设，小于块大小就1块，大于块大小就>= 2块】
    		15M的文件：对应有2个块
    		副本系数：3  每个块会存三份
    
    		35M   10M
    		10  10  10  5
    
    
    
    NameNode：NN
    	file system namespace 文件系统命名空间
    	执行文件系统的命名空间操作：打开、关闭、重命名文件或者路径
    	记录数据块对应的DN
    
    DataNode: DN【数据真正存放的地方】
    	存储数据
    	负责客户端对文件的读写服务
    	执行NN发起的创建、删除、【副本】指令

![在这里插入图片描述][eb7d5a0c00bb4cc795b7c61d82fd4fdb.png_pic_center]

*  一个Namenode
 *  5个Datanode
 *  Rack 机架
 *  Blocks：块

NameNode 和 DataNode 是设计用于在商用机器上运行的软件。这些机器通常运行 GNU/Linux 操作系统 (OS)。**HDFS是使用Java语言构建的**；**任何支持 Java 的机器都可以运行 NameNode 或 DataNode 软件。**

使用高度可移植的 Java 语言意味着 HDFS 可以部署在各种机器上。典型的部署有一台只运行 NameNode 软件的专用机器。集群中的每台其他机器都运行一个 DataNode 软件实例。该架构不排除在同一台机器上运行多个 DataNode，但在实际部署中这种情况很少见。【意思是一般我们一台机器部署一个DataNode 就OK了】

集群中单个NameNode的存在大大简化了系统的架构。【总结】NameNode 是所有 HDFS 元数据的仲裁者和存储库。该系统的设计方式使用户数据永远不会避开 NameNode【绕不开，要想对数据进行操作，一定会和NameNode 打交道，不然文件在哪儿都不知道】。

![在这里插入图片描述][30af726444884e25b5a46e241c30ca2f.png_pic_center]

[041b06f23bc94260a72920a3bbc0963e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a3fa07b6d3d2416a978fd04c55e60849.png
[797f8fc2f7c34eefb37cdf872e98fdca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f6024abd482f4d308af527cbc7b92e0f.png
[eb7d5a0c00bb4cc795b7c61d82fd4fdb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0fe1f8d547ee46f784affb1d647f6f28.png
[30af726444884e25b5a46e241c30ca2f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/acc7dfaaa6ef4aeaa31d8506b05b7a0f.png