大数据框架之Hadoop

阳光穿透心脏的1/2处 2023-09-26 23:08 142阅读 0赞

### 大数据框架之Hadoop ###

*  1990年1月
 *  2005年4月
 *  解决方案
 *  Hadoop的三大组件
 *   *  存储单元
     *   *  HDFS容错
     *  MapReduce
     *   *  具体实例
     *  YARN
 *  其他组件
 *  HDFS三种模式的优势
 *  应用

# 1990年1月 #

![在这里插入图片描述][cf881ea0c65d4e3aa645cd38a25ac008.png]  
很久以前的生成的数量非常小，速度相对缓慢。几乎所有的数据都是文件行和列的形式。

存储和处理这些数据并不麻烦。因为单个存储单元和处理器组合就可以完成这项工作。

# 2005年4月 #

![在这里插入图片描述][c89bce242d644e779b41ae97574a598f.png]

半结构化和非结构化数据现在以电子邮件、图像、音频和视频等形式出现。这些数据统称为**大数据**。

# 解决方案 #

![在这里插入图片描述][85b50fa161f243d3b167cee364b18d8e.png]  
而且存储单元处理器组合显然还不够，那么**解决方案**是什么呢？**多个存储单元和处理器**无疑是当下的需要。这个概念被并入Hadoop框架中。该框架可以有效地存储和处理大量数据。通过使用硬件集群。

![在这里插入图片描述][8c2433bfff914a19b33a9eb0ea6f3949.png]

# Hadoop的三大组件 #

Hadoop由三个专门为处理大数据而设计的组件组成。为了充分利用数据，**第一步是存储数据**。Hadoop的第一个组件是它的**存储单元**。**Hadoop分布式文件系统又称之为HDFS**。

![在这里插入图片描述][9e19484280b44018b4558bd252b50980.png]

## 存储单元 ##

在一台电脑上储存大量数据是不可行的。因此，数据分布在许多计算机中以块的形式存储。如果你有600MB的数据要存储，HDFS将数据分成多个数据块，然后存储在集群中的几个数据节点上，128MB是每个块的默认大小。因此600MB将被分成4个块。A、B、C、D块各128MB，剩下的88MB在最后的块E。

### HDFS容错 ###

如果一个数据节点崩溃了，我们会丢失那块特定的数据吗？并不会，这就是HDFS的魅力所在。HDFS对数据进行**拷贝并将其存储在多个系统**中。例如，当块A被创建时，将其复制并存储在不同的数据节点上，这被称为复制方法。

![在这里插入图片描述][679f4242f68b4aab8c866546f104e374.png]  
这样做，即使一个数据节点崩溃，由于HDFS容错也不会损失任何数据。  
![在这里插入图片描述][74d7ae240a994fc6b7b2a0dea204d79e.png]

## MapReduce ##

成功存储数据后，需要**对数据进行处理**，这就是Hadoop第二个组件，**MapReduce**。  
![在这里插入图片描述][73d8c9d57dac4d9fb4ed9fb79b019671.png]  
MapReduce发挥作用的地方在传统数据处理方法中，**整个数据都是在一台具有单个处理器的机器上处理的**。既费时又低效。特别是在处理大量各种数据时更是如此。为了克服这个问题，MapReduce将数据分成多个部分，并在**不同数据节点上分别处理每个部分**，然后将各个结果**汇总并最终输出**。

### 具体实例 ###

让我们试着用这个例子来计算单词的出现次数。

![在这里插入图片描述][12ce0d430fc24b57a4123bc1b94a3b37.png]

首先，输入基于句号被分成五个独立的段落。下一步是**映射器阶段**。其中计算每个单词的出现次数并分配一个数字。之后根据相似的单词进行排序和分组。接下来，所有分组的单词都会被计数。最后，通过汇总结果显示输出。所有这些通过编写一个简单程序即可完成。类似地MapReduce对大数据的**每个部分进行单独处理**，最后将**结果汇总**，这改善了负载平衡并节省了大量时间。

## YARN ##

![在这里插入图片描述][631c9d5dab9f4eaeaf008e124524c79e.png]  
现在我们已经准备好了MapReduce是时候在Hadoop集群上运行了，这是在内存、网络带宽和CPU等资源的帮助下完成的。多个作业在Hadoop上同时运行，它们都需要硬件资源来成功完成任务。为了**有效地管理这些资源**，我们使用了Hadoop的第三个组件，这称之为**YARN**。

**YARN由资源管理器、节点管理器、应用管理器和容器组成**。资源管理器分配资源，节点管理器处理节点并监控节点中的资源使用情况。容器包含物理资源的集合。假设我们想要处理创建的MapReduce作业。首先应用管理器从节点管理器请求容器，节点管理器获得资源后，将它们发送给资源管理器。这样YARN在Hadoop中就可以**处理作业请求并管理集群资源**。

# 其他组件 #

![在这里插入图片描述][10f5cb6fc3784598b31380f68aa3c08b.png]  
除了这些组件，Hadoop还有各种大数据工具和框架，专门用于**管理、处理和分析数据**。

Hadoop生态系统还包括其他几个组件，如HIVE PIG SPARK FLUME和SCOOP等等。Hadoop生态系统共同致力于大数据管理。

# HDFS三种模式的优势 #

HDFS的三种模式的优势是什么？  
A. 支持并行处理  
B. 更快的数据分析  
C. 确保容错  
D. 管理集群资源

# 应用 #

![在这里插入图片描述][70a696c4fc88457fb8f67771ef9cf5c6.png]

Hadoop有很多应用，比如数据仓库、推荐系统、欺诈检测等。

**参考资料**：[什么是Hadoop，浅谈大数据框架Hadoop][Hadoop_Hadoop]

[cf881ea0c65d4e3aa645cd38a25ac008.png]: https://img-blog.csdnimg.cn/cf881ea0c65d4e3aa645cd38a25ac008.png
[c89bce242d644e779b41ae97574a598f.png]: https://img-blog.csdnimg.cn/c89bce242d644e779b41ae97574a598f.png
[85b50fa161f243d3b167cee364b18d8e.png]: https://img-blog.csdnimg.cn/85b50fa161f243d3b167cee364b18d8e.png
[8c2433bfff914a19b33a9eb0ea6f3949.png]: https://img-blog.csdnimg.cn/8c2433bfff914a19b33a9eb0ea6f3949.png
[9e19484280b44018b4558bd252b50980.png]: https://img-blog.csdnimg.cn/9e19484280b44018b4558bd252b50980.png
[679f4242f68b4aab8c866546f104e374.png]: https://img-blog.csdnimg.cn/679f4242f68b4aab8c866546f104e374.png
[74d7ae240a994fc6b7b2a0dea204d79e.png]: https://img-blog.csdnimg.cn/74d7ae240a994fc6b7b2a0dea204d79e.png
[73d8c9d57dac4d9fb4ed9fb79b019671.png]: https://img-blog.csdnimg.cn/73d8c9d57dac4d9fb4ed9fb79b019671.png
[12ce0d430fc24b57a4123bc1b94a3b37.png]: https://img-blog.csdnimg.cn/12ce0d430fc24b57a4123bc1b94a3b37.png
[631c9d5dab9f4eaeaf008e124524c79e.png]: https://img-blog.csdnimg.cn/631c9d5dab9f4eaeaf008e124524c79e.png
[10f5cb6fc3784598b31380f68aa3c08b.png]: https://img-blog.csdnimg.cn/10f5cb6fc3784598b31380f68aa3c08b.png
[70a696c4fc88457fb8f67771ef9cf5c6.png]: https://img-blog.csdnimg.cn/70a696c4fc88457fb8f67771ef9cf5c6.png
[Hadoop_Hadoop]: https://www.bilibili.com/video/BV1WN411Q7wC/?spm_id_from=333.337.search-card.all.click&vd_source=a1af903e57688df870625021f7f3a7eb