Hadoop读书笔记（四）HDFS体系结构

女爷i 2022-03-30 18:54 168阅读 0赞

Hadoop读书笔记（一）Hadoop介绍：[http://blog.csdn.net/caicongyang/article/details/39898629][http_blog.csdn.net_caicongyang_article_details_39898629]

[Hadoop读书笔记（二）HDFS的shell操作][Hadoop_HDFS_shell]:[http://blog.csdn.net/caicongyang/article/details/41253927][Hadoop_HDFS_shell]

[Hadoop读书笔记（三）Java API操作HDFS][Hadoop_Java API_HDFS]：[http://blog.csdn.net/caicongyang/article/details/41290955][Hadoop_Java API_HDFS]

1.NameNode

作用：管理文件文件夹结构、管理数据节点。名字节点维护两套数据，一套是文件文件夹与数据块之间的关系， 还有一套是数据块与节点之间的关系。 前一套数据是静  
态的，是存放在磁盘上的。通过 fsimage 和 edits 文件来维护。后一套数据是动态的。不持久化到磁盘的，每当集群启动的时候，会自己主动建立这些信息。

配置信息：core-site.xml中的hadoop.tmp.dir 系统默认的配置文件：core-default.xml（源代码）

文件夹结构 ：/usr/local/hadoop/tmp/dfs/name （/usr/local 为Hadoop安装文件夹。文件路径配置在源代码中的core-default.xml中和用户的core-site.xml中）

2.DataNode

作用：数据存储

配置信息：默认大小64M ,默认3份备份 系统默认的配置文件：core-default.xml 配置项：dfs.block.size dfs.replication

文件夹结构：/usr/local/hadoop/tmp/data

3.SecondaryNameNode

作用：edis、fsimage、fstime为HDFS文件夹结构文件，fstime的作用是事务，edits的作用是暂时文件，fsimage是镜像文件，SecondaryNameNode负责将NameNode中的edits合并到fsimage中。

欢迎大家一起讨论学习。

实用的自己收!

记录与分享，让你我共成长！欢迎查看我的其它博客。我的博客地址：[http://blog.csdn.net/caicongyang][http_blog.csdn.net_caicongyang]

[http_blog.csdn.net_caicongyang_article_details_39898629]: http://blog.csdn.net/caicongyang/article/details/39898629
[Hadoop_HDFS_shell]: http://blog.csdn.net/caicongyang/article/details/41253927
[Hadoop_Java API_HDFS]: http://blog.csdn.net/caicongyang/article/details/41290955
[http_blog.csdn.net_caicongyang]: http://blog.csdn.net/caicongyang