2.1.1 hadoop体系之离线计算-hdfs分布式文件系统-hadoop简介

╰+攻爆jí腚メ 2023-03-04 08:22 30阅读 0赞

**目录**

1.Hadoop介绍

2.Hadoop发展简史

3.Hadoop特性优点

4.Hadoop国内外应用

5.Hadoop版本介绍

5.1 1.x版本架构模型介绍

5.2 2.x版本架构模型介绍

6.Hadoop 3 新特征

7.hadoop三大公司发行版本介绍

--------------------

# 1.Hadoop介绍 #

Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：

*  **        COMMON（公共）：公共工具，支撑其他Hadoop模块**
 *  **        HDFS（分布式文件系统）：解决海量数据存储**
 *  **        YARN（作业调度和集群资源管理的框架）：解决资源任务调度**
 *  **        MAPREDUCE（分布式运算编程框架）：解决海量数据计算，大数据并行框架**

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：

*  **HDFS：分布式文件系统（提供对数据存储接口访问）**
 *  **MAPREDUCE：分布式运算程序开发框架**
 *  **HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作**
 *  **HBASE：基于HADOOP的分布式海量数据库**
 *  **ZOOKEEPER：分布式协调服务基础组件**
 *  **Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库**
 *  **OOZIE：工作流调度框架**
 *  **Sqoop：数据导入导出工具（比如用于mysql和HDFS之间）**
 *  **FLUME：日志数据采集框架**
 *  **IMPALA：基于hive的实时sql查询分析**

![format_png][]

# 2.Hadoop发展简史 #

Hadoop是Apache Lucene创始人 Doug Cutting创建的。最早起源于Nutch，它是Lucene的子项目。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题：如何解决数十亿网页的存储和索引问题。

2003年Google发表了一篇论文为该问题提供了可行的解决方案。论文中描述的是谷歌的产品架构，该架构称为：**谷歌分布式文件系统（GFS）**,可以解决他们在网页爬取和索引过程中产生的超大文件的存储需求。

2004年 Google发表论文向全世界介绍了谷歌版的**MapReduce系统。**

同时期，Nutch的开发人员完成了相应的开源**实现HDFS和MAPREDUCE**，并从Nutch中剥离成为独立项目**HADOOP**，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。

2006年Google发表了论文是关于**BigTable**的，这促使了后来的**Hbase**的发展。

**因此，Hadoop及其生态圈的发展离不开Google的贡献。**

# 3.Hadoop特性优点 #

*  扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。
 *  成本低（Economical）：Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。
 *  高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。
 *  可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

# 4.Hadoop国内外应用 #

不管是国内还是国外，Hadoop最受青睐的行业是互联网领域，可以说互联网公司是hadoop的主要使用力量。国外来说，Yahoo、Facebook、IBM等公司都大量使用hadoop集群来支撑业务。比如：Yahoo的Hadoop应用在支持广告系统、用户行为分析、支持Web搜索等。Facebook主要使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。国内来说，BAT领头的互联网公司是当仁不让的Hadoop使用者、维护者。比如Ali云梯（14年国内最大Hadoop集群）、百度的日志分析平台、推荐引擎系统等。

国内其他非互联网领域也有不少hadoop的应用，比如：金融行业： 个人征信分析、证券行业： 投资模型分析、交通行业： 车辆、路况监控分析、电信行业： 用户上网行为分析

总之：hadoop并不会跟某种具体的行业或者某个具体的业务挂钩，它只是一种用来做海量数据分析处理的工具。

# 5.Hadoop版本介绍 #

hadoop有三个版本，公司里面用2.x比较多，版本之间差别不大。Hadoop GA版本是2017年12月发布的，属于官方正式发布版。

内部测试版本不建议使用，可能有bug，可以直接使用稳定版本，release也是个稳定版本。

*  1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等
 *  2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性
 *  3.x版本系列: 加入多namenoode新特性

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## 5.1 1.x版本架构模型介绍 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

文件系统核心模块：

NameNode：集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

JobTracker：接收用户的计算请求任务，并分配任务给从节点

TaskTracker：负责执行主节点JobTracker分配的任务

## 5.2 2.x版本架构模型介绍 ##

**第一种：NameNode与ResourceManager单节点架构模型**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的**辅助管理**

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

**ResourceManager：接收用户的计算请求任务，并负责集群的资源分配**

**NodeManager：负责执行主节点APPmaster分配的任务**

**第二种：NameNode单节点与ResourceManager高可用架构模型**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，**通过zookeeper实现**ResourceManager的高可用

NodeManager：负责执行主节点ResourceManager分配的任务

**第三种：NameNode高可用与ResourceManager单节点架构模型**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

JournalNode：文件系统元数据信息管理

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

NodeManager：负责执行主节点ResourceManager分配的任务

**第四种：NameNode与ResourceManager高可用架构模型**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用

JournalNode：元数据信息管理进程，一般都是奇数个

DataNode：从节点，用于数据的存储

数据计算核心模块：

ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

# 6.Hadoop 3 新特征 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

# 7.hadoop三大公司发行版本介绍 #

**免费开源版本apache:**

[http://hadoop.apache.org/][http_hadoop.apache.org]

优点：拥有全世界的开源贡献者，代码更新迭代版本比较快，

缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，\\

apache所有软件的下载地址（包括各种历史版本）：

[http://archive.apache.org/dist/][http_archive.apache.org_dist]

**免费开源版本hortonWorks：**

[https://hortonworks.com/][https_hortonworks.com]

hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP（ambari），HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址（[http://ambari.apache.org/][http_ambari.apache.org]）

**软件收费版本ClouderaManager:**

[https://www.cloudera.com/][https_www.cloudera.com]

cloudera主要是美国一家大数据公司在apache开源hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题

[format_png]: /images/20230208/078ef99844754299a129344828bc5588.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20230208/16c20d411d2e444196591f08279aa1d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20230208/cbcbfd14646649df89011ee7ea976456.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20230208/3fbb7c200a664c0f8660c093b0cdcdaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20230208/a2d8037114ba475380c444bfb3395d21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20230208/9461225347374d828b886ada5db570dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: /images/20230208/14921123c650477b8910e7ae123a1db9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: /images/20230208/8ea744d3d42a4c4988bfa77e06c39cc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: /images/20230208/5c4007d7d02244228ee380974f9af76c.png
[http_hadoop.apache.org]: http://hadoop.apache.org/
[http_archive.apache.org_dist]: http://archive.apache.org/dist/
[https_hortonworks.com]: https://hortonworks.com/
[http_ambari.apache.org]: http://ambari.apache.org/
[https_www.cloudera.com]: https://www.cloudera.com/