我的架构梦：（五十九） Apache Hadoop 架构与原理

客官°小女子只卖身不卖艺 2022-12-22 09:05 205阅读 0赞

Apache Hadoop 架构与原理

- 一、Hadoop的重要组成
- 二、HDFS分布式文件系统
- 三、MapReduce编程框架
- 四、YARN资源调度

一、Hadoop的重要组成

Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块

1、Hadoop HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统

比如:100T数据存储，“分而治之”

分:拆分–》数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。

数据切割、制作副本、分散储存

在这里插入图片描述
图中涉及到几个角色

NameNode(nn): 存储文件的元数据，比如文件名、文件目录结构、文件属性(生成时间、副
本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。

SecondaryNameNode</

发表评论取消回复

表情：

评论列表（有 0 条评论，205人围观）

还没有评论，来说两句吧...

相关阅读

相关我的架构梦：（十四）Tomcat 系统架构与原理剖析

Tomcat 系统架构与原理剖析一、浏览器访问服务器的流程二、Tomcat 系统总体架构三、Tomcat 连接器组件 Coy

末蓝、/ 2023年02月20日 07:40/ 0 赞/ 93 阅读

相关我的架构梦：（七十五） MySQL主从复制架构搭建

一、搭建准备 1、软件版本 <table> <thead> <tr> <th>软件</th> <th>版本</th> </tr>

朴灿烈づ我的快乐病毒、/ 2023年01月05日 09:58/ 0 赞/ 164 阅读

相关我的架构梦：（六十） Apache Hadoop 核心源码剖析

Apache Hadoop 核心源码剖析一、源码阅读准备二、NameNode 启动流程三、DataNode 启动流程

Dear 丶/ 2022年12月23日 03:28/ 0 赞/ 179 阅读

相关我的架构梦：（五十九） Apache Hadoop 架构与原理

Apache Hadoop 架构与原理一、Hadoop的重要组成二、HDFS分布式文件系统三、MapReduce编程框架

客官°小女子只卖身不卖艺/ 2022年12月22日 09:05/ 0 赞/ 206 阅读

相关我的架构梦：（五十一） MySQL存储与优化之MySQL集群架构

MySQL存储与优化之MySQL集群架构一、集群架构设计二、主从模式三、双主模式四、分库分表一、集群

向右看齐/ 2022年12月08日 01:36/ 0 赞/ 188 阅读

相关我的架构梦：（四十九） MySQL存储与优化之MySQL索引原理

一、索引类型索引可以提升查询速度，会影响where查询，以及order by排序。MySQL索引类型如下: 从索引存储结构划分:B Tree索引、Hash索引、

水深无声/ 2022年12月07日 01:29/ 0 赞/ 192 阅读

相关我的架构梦：（四十八） MySQL存储与优化之MySQL架构原理

一、MySQL体系架构 ![在这里插入图片描述][20200913002427366.png] `MySQL Server`架构自顶向下大致可以分`网络连接层`、`服务

男娘i/ 2022年12月06日 12:34/ 0 赞/ 219 阅读

相关我的架构梦：（五十六） MongoDB架构

MongoDB架构一、MongoDB逻辑结构二、MongoDB的数据模型三、MongoDB 存储引擎一、MongoDB

小咪咪/ 2022年11月21日 11:50/ 0 赞/ 209 阅读

相关我的架构梦：（五十五） MongoDB应用场景与实战

> 欢迎大家关注我的公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、MongoDB的适用场景

￡神魔★判官ぃ/ 2022年11月21日 11:27/ 0 赞/ 210 阅读

相关我的架构梦：（九十五）消息中间件之RocketMQ的存储机制

> 欢迎大家关注我的公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、存储方式业界主流的 MQ

超、凢脫俗/ 2022年11月05日 14:54/ 0 赞/ 223 阅读