Hadoop 3.x 的组成完整使用 (月薪过万第三章)

向右看齐 2022-10-13 00:29 156阅读 0赞

### Hadoop 的组成介绍 ###

*  HDFS 的架构概述(转行)月薪过万
 *   *  1、HDFS概述(转行)月薪过万
     *  2、HDFS 举例(转行)月薪过万
     *   *  2.1 NameNode（nn）(转行)月薪过万
         *  2.2 DataNode(dn) (转行)月薪过万
         *  2.3 Secondary NameNode(2nn) (转行)月薪过万
 *  二、YARN 概述 (转行)月薪过万
 *  三、MapReduce 架构概述 (转行)月薪过万
 *  四、HDFS、YARN、MapReduce 三者关系 (转行)月薪过万
 *  五、大数据技术生态体系 (转行)月薪过万
 *   *  1、名词解释 (转行)月薪过万
     *  2、推荐系统图 (转行)月薪过万

# HDFS 的架构概述(转行)月薪过万 #

2nn 相当于老板的秘书、主动把NameNode 备份  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70]

## 1、HDFS概述(转行)月薪过万 ##

*  Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

## 2、HDFS 举例(转行)月薪过万 ##

> 核心 三个 Node 的作用

### 2.1 NameNode（nn）(转行)月薪过万 ###

> 存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、  
> 文件权限），以及每个文件的块列表和块所在的DataNode等。

就好比周星驰拿着的是（NameNode）、只是武功秘籍的目录  
![在这里插入图片描述][20210705165339663.png]

### 2.2 DataNode(dn) (转行)月薪过万 ###

> 在本地文件系统存储文件块数据，以及块数据的校验和。

DataNode 才是真正的招式、存储着内容  
![在这里插入图片描述][20210705165422635.png]

### 2.3 Secondary NameNode(2nn) (转行)月薪过万 ###

> 每隔一段时间对NameNode元数据备份。

# 二、YARN 概述 (转行)月薪过万 #

*  Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。
 *  1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大
 *  2）NodeManager（N M）：单个节点服务器资源老大
 *  3）ApplicationMaster（AM）：单个任务运行的老大
 *  4）Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。 (默认是 1-8G)

4G内存 最多 开辟四个容器、2CPU 一个容器分配最少一个CPU、两个容器两个CPU

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 1]

# 三、MapReduce 架构概述 (转行)月薪过万 #

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

*  1）Map 阶段并行处理输入数据
 *  2）Reduce 阶段对 Map 结果进行汇总

任务需求:找出宋宋老师2015年5月份的教学视频、  
**map分发所有的节点服务器、从100T 数据里面、查找、最后结果（Reduce）汇总到服务器**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 2]

# 四、HDFS、YARN、MapReduce 三者关系 (转行)月薪过万 #

*  DataNode :负责数据的真实的存储
 *  NaemNode: 告诉别人我这数据存储在那个节点上、存储的什么信息、相当于账本
 *  2NN : 如果 NaemNode 挂了、2NN会备份一份数据
 *  App Mstr 是一个任务开启任务
 *  一看有资源 App Mstr 就开启 一个MapTask

总结：最终查询 返回结果他又写到了DataNode节点、有指向了NameNode 、有进行了一个记账操作

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 3]

# 五、大数据技术生态体系 (转行)月薪过万 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 4]

## 1、名词解释 (转行)月薪过万 ##

> 1、Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL）  
> 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进  
> 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

> 2、Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，  
> Flume 支持在日志系统中定制各类数据发送方，用于收集数据；

> 3、Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统

> 4、Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数  
> 据进行计算。

> 5、Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

> 6、 Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。

> 7、Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库，  
> 它是一个适合于非结构化数据存储的数据库。

> 8、Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张  
> 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运  
> 行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开  
> 发专门的 MapReduce 应用，十分适合数据仓库的统计分析。

> 9、ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、  
> 名字服务、分布式同步、组服务等。

## 2、推荐系统图 (转行)月薪过万 ##

一个系统推荐你的爱好的数据流程图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70]: /images/20221005/34f71992b4ba41aeb7c9928ca2dc9e15.png
[20210705165339663.png]: /images/20221005/7976d3327ca641fcbef846e78857a3b2.png
[20210705165422635.png]: /images/20221005/144bd68039eb4fdb9f8048e82e1f6667.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 1]: /images/20221005/13ac4b3ed3a94b74a302eb0a34aedd90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 2]: /images/20221005/8a7bfe90d66748b0ba768062800dee3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 3]: /images/20221005/03db55a9c3344c7dbd9c169fa84c17f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 4]: /images/20221005/d0887858a722410b93c6409b3af525d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 5]: /images/20221005/ef2f247c8f1d4d36b01fb261ca550e2c.png