Google 三架马车：GFS、BigTable、MapReduce

「爱情、让人受尽委屈。」 2021-10-01 08:02 345阅读 0赞

一、GFS

Google File System就是HDFS的前身

HDFS 参照了GFS的设计理念，大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver\\

1.设计目标：

*  多个客户端可以在不需要额外的同步锁定的 情况下，同时对一个文件追加数据
 *

*一个问题：*

一个 Chunk块为**64MB**，HDFS中的一个块大小也64MB，但是一般的文件系统中一个磁盘块大小只有512B

=> 那么为什么分布式文件系统中的一个数据块要设置的这么大呢？

0. 目的是为了**最小化寻址开销，**

1. 采用较大的 Chunk 尺寸，客户端能够对一个块进行多次操作，这样就可以 通过与 Chunk 服务器保持较长时间的 TCP 连接来减少网络负载

2.架构：

![1251492-20180620164644022-8438515.png][]

*  Master 节点使用心跳信息周期地和每个 Chunk 服务器通讯，发送指令到各个 Chunk 服务器并接收 Chunk 服务器的状态信息。

*  客户端并不通过 Master 节点读写文件数据。反之，客户端向 Master 节点询问它应该联系的 Chunk 服务器。 客户端将这些元数据信息缓存一段时间，后续的操作将直接和 Chunk 服务器进行数据读写操作。

3.GFS的一致性模型：

尽量采用追加写入而不是覆盖，Checkpoint，自验证的写入操作，自标识的记录

4. 对比HDFS架构：

![1251492-20180620165926797-2034907468.png][]

*  master slave model: 只有主人和slave进行主观能动的通信，slave间不会通信。
 *  master只会决定哪个slave去做读／写工作，然后client会直接和slave去传输。master只会收到request，master不会传输数据。
 *  怎么存储数据：block of small file

*  谁负责去将数据拆分成小的blocks？ => HDFS client

二、BigTable

三、MapReduce

转载于:https://www.cnblogs.com/shawshawwan/p/9204675.html

[1251492-20180620164644022-8438515.png]: /images/20210724/a7e109e669d84a028904e014ff4ba493.png
[1251492-20180620165926797-2034907468.png]: /images/20210724/90a50008594042a591b7f8d74f794c4d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，345人围观）

还没有评论，来说两句吧...

相关阅读

相关蓝桥杯拉马车(模拟)

标题：拉马车小的时候，你玩过纸牌游戏吗？有一种叫做“拉马车”的游戏，规则很简单，却很吸引小朋友。其规则简述如下：假设参加游戏的小朋友是A和B，游戏开始

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 14:57/ 0 赞/ 215 阅读

相关分布式系统漫谈一 ——　Google三驾马车: GFS,mapreduce,Bigtable

分布式系统漫谈一 ——　Google三驾马车: GFS,mapreduce,Bigtable 谈到分布式系统，就不得不提Google的三驾马车:Google fs\[1\],

分手后的思念是犯贱/ 2022年08月14日 04:44/ 0 赞/ 208 阅读

相关 Google三大经典论文

Google MapReduce、GFS和BigTable的论文 MapReduce： http://blog.csdn.net/active1001/ar

ゞ浴缸里的玫瑰/ 2022年06月13日 09:08/ 0 赞/ 179 阅读

相关 Google三驾马车：GFS、MapReduce和Bigtable

MapReduce、GFS和BigTable的论文都已经被翻译成高质量的中文，为了方便大家整理，我把三篇论文的地址统一列在这里： MapReduce： http

秒速五厘米/ 2022年06月07日 07:36/ 0 赞/ 232 阅读

相关 Google思想三（BigTable）

> BigTable 最基本的思想是把所有的数据都存入一张表。大表的思想有什么问题？引起数据的冗余。大表的思想有什么优点？

野性酷女/ 2022年04月16日 00:50/ 0 赞/ 240 阅读

相关百果园“两驾马车、三根支柱”商业模式大揭秘

百果园基于对商业本质和产业创新三大方向的理解，构建“三根支柱支持两架马车”运营架构体系。新兴业态层出不穷，但商业的本质没有改变，因为人性没有变。商业的发展永远都在追求又好又

àì夳堔傛蜴生んèń/ 2022年04月08日 15:18/ 0 赞/ 655 阅读

相关 Google的三驾马车

缺乏、安全感/ 2022年02月28日 00:48/ 0 赞/ 396 阅读

相关【JavaEE REST】基于第三方框架Restlet

准备工作： < 下载下载：[http://www.restlet.org/downloads/stable][http_www.restlet.org_downloads

柔情只为你懂/ 2022年01月09日 10:21/ 0 赞/ 332 阅读

相关批量上架下架

开发工具与关键技术： Visual Studio 2015 – jQuery 作者：廖亚星撰写时间：2019年 7 月 31 日在商品里面，我们会对商品进行上架

怼烎@/ 2021年11月05日 02:48/ 0 赞/ 395 阅读

相关 Google 三架马车：GFS、BigTable、MapReduce

一、GFS Google File System就是HDFS的前身 HDFS 参照了GFS的设计理念，大部分架构设计概念是类似的，比如 HDFS NameNode 相当于

「爱情、让人受尽委屈。」/ 2021年10月01日 08:02/ 0 赞/ 346 阅读