企业级Hadoop大数据平台实战（1）——认识Hadoop

Myth丶恋晨 2022-12-02 01:25 179阅读 0赞

### 文章目录 ###

*   *  一、什么是Hadoop
     *  二、Hadoop的优点
     *  三、核心架构
     *  四、HDFS交互关系
     *  五、Hadoop的常用模块
     *  六、HADOOP生态圈以及各组成部分的简介
     *  七、Hadoop的配置文件

## 一、什么是Hadoop ##

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

## 二、Hadoop的优点 ##

<table> 
 <thead> 
  <tr> 
   <th>高可靠性</th> 
   <th>Hadoop按位存储和处理数据的能力值得人们信赖</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>高扩展性</td> 
   <td>Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中</td> 
  </tr> 
  <tr> 
   <td>高效性</td> 
   <td>Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快</td> 
  </tr> 
  <tr> 
   <td>高容错性</td> 
   <td>Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配</td> 
  </tr> 
  <tr> 
   <td>低成本</td> 
   <td>与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低</td> 
  </tr> 
 </tbody> 
</table>

## 三、核心架构 ##

Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

HDFS三个重要角色：NameNode、DataNode和Client  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center]

*  HDFS

对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。  
但是 HDFS 的架构是基于一组特定的节点构建的（上图），这是由它自身的特点决定的。  
这些节点包括 NameNode（仅一个），它在 HDFS 内部提供元数据服务；  
DataNode，它为 HDFS 提供存储块。由于仅存在一个 NameNode，因此这是 HDFS 1.x版本的一个缺点（单点失败）。  
在Hadoop 2.x版本可以存在两个NameNode，解决了单节点故障问题。  
存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。  
这与传统的 RAID 架构大不相同。块的大小（1.x版本默认为 64MB，2.x版本默认为128MB）和复制的块数量在创建文件时由客户机决定。NameNode 可以控制所有文件操作。HDFS 内部的所有通信都基于标准的 TCP/IP 协议。

*  NameNode

NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。

NameNode 决定是否将文件映射到 DataNode 上的复制块上。  
对于最常见的 3 个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。

NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。

实际的 I/O事务并没有经过 NameNode，只有表示 DataNode 和块的文件映射的元数据经过 NameNode。

NameNode 在一个称为 FsImage 的文件中存储所有关于文件系统名称空间的信息。这个文件和一个包含所有事务的记录文件（这里是 EditLog）将存储在 NameNode 的本地文件系统上。  
FsImage 和 EditLog 文件也需要复制副本，以防文件损坏或 NameNode 系统丢失。  
NameNode本身不可避免地具有SPOF（Single Point Of Failure）单点失效的风险，主备模式并不能解决这个问题，  
通过Hadoop Non-stop namenode才能实现100% uptime可用时间。

*  DataNode

DataNode 也是一个通常在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。

DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。  
Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

DataNode 响应来自 HDFS 客户机的读写请求。它们还响应来自 NameNode 的创建、删除和复制块的命令。  
NameNode 依赖来自每个 DataNode 的定期心跳（heartbeat）消息。  
每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。  
如果 DataNode 不能发送心跳消息，NameNode 将采取修复措施，重新复制在该节点上丢失的块。

*  文件操作

可见，HDFS 并不是一个万能的文件系统。它的主要目的是支持以流的形式访问写入的大型文件。  
如果客户机想将文件写到 HDFS 上，首先需要将该文件缓存到本地的临时存储。如果缓存的数据大于所需的 HDFS 块大小，创建文件的请求将发送给 NameNode。NameNode 将以 DataNode 标识和目标块响应客户机。  
同时也通知将要保存文件块副本的 DataNode。

当客户机开始将临时文件发送给第一个 DataNode 时，将立即通过管道方式将块内容转发给副本 DataNode。  
客户机也负责创建保存在相同 HDFS名称空间中的校验和（checksum）文件。  
在最后的文件块发送之后，NameNode 将文件创建提交到它的持久化元数据存储（在 EditLog 和 FsImage 文件）。

## 四、HDFS交互关系 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center 1]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center 2]

## 五、Hadoop的常用模块 ##

Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件  
Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）

<table> 
 <thead> 
  <tr> 
   <th>Hadoop Common</th> 
   <th>支持其他Hadoop模块的常用工具</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Hadoop分布式文件系统（HDFS™）</td> 
   <td>一种分布式文件系统，可提供对应用程序数据的高吞吐量访问</td> 
  </tr> 
  <tr> 
   <td>Hadoop YARN</td> 
   <td>作业调度和集群资源管理的框架</td> 
  </tr> 
  <tr> 
   <td>Hadoop MapReduce</td> 
   <td>一种用于并行处理大型数据集的基于YARN的系统</td> 
  </tr> 
 </tbody> 
</table>

## 六、HADOOP生态圈以及各组成部分的简介 ##

hadoop生态圈中 各个组件的作用描述:

（1）hdfs(分布式文件系统)：就是一个文件系统，可以存储海量的数据。  
（2）mapreduce(分布式运算程序开发框架)：从海量的数据中，通过一定的算法，计算出有用信息。  
（3）hive(SQL数据仓库工具)：就是sql语句解释器，接收用户输入的sql语句，然后将该sql语句翻译成复杂的mapreduce程序，并发布到mr集群中进行运算，也是计算出有用的信息。  
（4）hbase(分布式海量数据库)：mysql是基于linux/window的文件系统的数据库，而hbase就是基于hdfs文件系统的数据库。  
（5）flume(日志数据采集框架)：就是一个水泵，将水从一个源水坑，抽到到另一个目的水坑中。当然flume抽的是 “数据”。将数据从一个文件中抽取到另一个文件中。  
（6）sqoop(数据导入导出工具)：将hdfs文件系统的文件，导出到linux文件系统的文件中。就像“豌豆荚”应用程序，实现 android系统与window系统之间文件的导入导出。  
（7）ooize/azkaban(工作流调度框架)：一个完整的业务（work）是由多个任务（task）相互配合完成的。该组件就是负责协调各个task的执行顺序。  
（8）ZOOKEEPER：分布式协调服务基础组件  
（9）Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

## 七、Hadoop的配置文件 ##

*  hadoop-env.sh: 用于定义 hadoop 运行环境相关的配置信息,比如配置 JAVA\_HOME 环境变量、为 hadoop 的 JVM 指定特定的选项、指定日志文件所在的目录路径以及 master 和 slave文件的位置等;
 *  core-site.xml: 用于定义系统级别的参数,如 HDFS URL、Hadoop 的临时目录以及用于rack-aware 集群中的配置文件的配置等,此中的参数定义会覆盖 core-default.xml 文件中的默认配置;
 *  hdfs-site.xml: HDFS 的相关设定,如文件副本的个数、块大小及是否使用强制权限等,此中的参数定义会覆盖 hdfs-default.xml 文件中的默认配置;
 *  mapred-site.xml:HDFS 的相关设定,如 reduce 任务的默认个数、任务所能够使用内存的默认上下限等,此中的参数定义会覆盖 mapred-default.xml 文件中的默认配置;
 *  masters: hadoop 的 secondary-masters 主机列表,当启动 Hadoop 时,其会在当前主机上 启 动 NameNode 和 JobTracker , 然 后 通 过 SSH 连 接 此 文 件 中 的 主 机 以 作 为 备 用NameNode;
 *  slaves:Hadoop 集群的 slave 主机列表,master 启动时会通过 SSH 连接至此列表中的所有主机并为其启动 DataNode 和 taskTracker 进程;

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/5bb94eed1139453daf476d0be6b09006.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200829125234871.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhcGVqYXNtaW5lWQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/b0991f3ed64d47f2b40625402203c803.png