轻松入门大数据第2章零基础：极速入门大数据基石框架Hadoop 2.1 初识Hadoop 2.1.1 Hadoop概述 & 2.1.2 Hadoop发展史(了解)

绝地灬酷狼 2024-03-22 12:50 55阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第2章 零基础：极速入门大数据基石框架Hadoop
         *   *  2.1 初识Hadoop
             *   *  2.1.1 Hadoop概述
                 *  2.1.2 Hadoop发展史(了解)

![在这里插入图片描述][5f7422c8903c48b7a9c2cb073324eb2b.png_pic_center]

#### 第2章 零基础：极速入门大数据基石框架Hadoop ####

##### 2.1 初识Hadoop #####

> 1.  Hadoop概述
> 2.  Hadoop三大核心组件
> 3.  大数据生态圈
> 4.  Hadoop发行版

###### 2.1.1 Hadoop概述 ######

*  [https://hadoop.apache.org/][https_hadoop.apache.org]
    
    ![在这里插入图片描述][15c103fbafd14c7699113d75bb2a53b0.png_pic_center]
 *  [https://github.com/apache/hadoop][https_github.com_apache_hadoop]
    
    ![在这里插入图片描述][8806aea698924fa69a3ba739bc0b2a86.png_pic_center]

【Apache基金会】

[https://apache.org/][https_apache.org]

![在这里插入图片描述][edef7491facd42b2bb1f2dc736b26061.png_pic_center]

过于牛了

**\[顶级项目\]**【孵化到达一定牛逼程度后才会成为顶级项目】

*  Hadoop[https://hadoop.apache.org/][https_hadoop.apache.org]
    
    ![在这里插入图片描述][58a36132b8274327a3738145178b9c0a.png_pic_center]
 *  Spark[https://spark.apache.org/][https_spark.apache.org]
    
    ![在这里插入图片描述][7c1c180f63d6450792b91d3d97462419.png_pic_center]
 *  Hive[https://hive.apache.org/][https_hive.apache.org]
    
    ![在这里插入图片描述][7f827f43fd76470b838c4d66f88b1928.png_pic_center]
 *  Flink[https://flink.apache.org/][https_flink.apache.org]
    
    ![在这里插入图片描述][9a5ca6d1bc2943dd802715bdfa3b616e.png_pic_center]

项目源码：github.com/apache/项目名称

Hadoop作者的孩子给一个棕黄色的大象样子的玩具起的名字

![在这里插入图片描述][c713bc5f44904e3cbecad453cd76554d.png_pic_center]

Hadoop 项目模块：

该项目包括以下模块：

*  **Hadoop Common**：支持其他 Hadoop 模块的通用实用程序。
 *  **Hadoop 分布式文件系统 (HDFS™)**：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
 *  **Hadoop YARN**：作业调度和集群资源管理的框架。
 *  **Hadoop MapReduce**：一个基于 YARN 的系统，用于并行处理大型数据集。

![在这里插入图片描述][61c02de042ec491594607ac1cf239837.png_pic_center]

Hadoop 的核心作者：Doug Cutting 大神级别的人物

![在这里插入图片描述][db75ae5c64c94e8b92d5c87c7e921971.png_pic_center]

![在这里插入图片描述][dc864e6ecf5a4dc2b79126ce23bba97b.png_pic_center]

###### 2.1.2 Hadoop发展史(了解) ######

*  Hadoop最早起源于Nutch。
 *  Nutch的设计目标是构建一个大型的全网搜索引擎，
 *  包括网页抓取、索引、查询等功能，
 *  但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题

【Hadoop发展史中的大事记】

*  2004年— 最初的版本(现在称为HDFS和MapReduce)由**Doug Cutting**和Mike Cafarella开始实施。
 *  2005年12月— Nutch移植到新的框架，Hadoop在20个节点上稳定运行。
 *  2006年1月— Doug Cutting加入雅虎。
 *  2006年2月— Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
 *  2006年2月— 雅虎的网格计算团队采用Hadoop。
 *  2006年4月— 标准排序(10 GB每个节点)在188个节点上运行47.9个小时。
 *  2006年5月— 雅虎建立了一个300个节点的Hadoop研究集群。
 *  2006年5月— 标准排序在500个节点上运行42个小时(硬件配置比4月的更好)。
 *  2006年11月— 研究集群增加到600个节点。
 *  2006年12月— 标准排序在20个节点上运行1.8个小时，100个节点3.3小时，500个节点5.2小时，900个节点7.8个小时。
 *  2007年1月— 研究集群到达900个节点。
 *  2007年4月— 研究集群达到两个1000个节点的集群。
 *  2008年4月— 赢得世界最快1TB数据排序在900个节点上用时209秒。
 *  2008年7月— 雅虎测试节点增加到4000个
 *  2008年9月— **Hive**成为Hadoop的子项目
 *  2008年11月— Google宣布其MapReduce用68秒对1TB的程序进行排序
 *  2008年10月— 研究集群每天装载10TB的数据。
 *  2008年— 淘宝开始投入研究基于Hadoop的系统–云梯。云梯总容量约9.3PB，共有1100台机器，每天处理18000道作业，扫描500TB数据。
 *  2009年3月— 17个集群总共24 000台机器。
 *  2009年3月— Cloudera推出CDH（Cloudera’s Dsitribution Including Apache Hadoop）
 *  2009年4月— 赢得每分钟排序，雅虎59秒内排序500 GB(在1400个节点上)和173分钟内排序100 TB数据(在3400个节点上)。
 *  2009年5月— Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。
 *  2009年7月— Hadoop Core项目更名为Hadoop Common;
 *  2009年7月— MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。
 *  2009年7月— Avro 和 Chukwa 成为Hadoop新的子项目。
 *  2009年9月— 亚联BI团队开始跟踪研究Hadoop
 *  2009年12月—亚联提出橘云战略，开始研究Hadoop
 *  2010年5月— Avro脱离Hadoop项目，成为Apache顶级项目。
 *  2010年5月— HBase脱离Hadoop项目，成为Apache顶级项目。
 *  2010年5月— IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights，包括基础版和企业版。
 *  2010年9月— Hive( Facebook) 脱离Hadoop，成为Apache顶级项目。
 *  2010年9月— Pig脱离Hadoop，成为Apache顶级项目。
 *  2011年1月— ZooKeeper 脱离Hadoop，成为Apache顶级项目。
 *  2011年3月— Apache Hadoop获得Media Guardian Innovation Awards 。
 *  2011年3月— Platform Computing 宣布在它的Symphony软件中支持Hadoop MapReduce API。
 *  2011年5月— Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。
 *  2011年5月— HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出，HCatalog主要用于解决数据存储、元数据的问题，主要解决HDFS的瓶颈，它提供了一个地方来存储数据的状态信息，这使得 数据清理和归档工具可以很容易的进行处理。
 *  2011年4月— SGI( Silicon Graphics International )基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。
 *  2011年5月— EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备——GreenPlum HD，以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。
 *  2011年5月— 在收购了Engenio之后， NetApp推出与Hadoop应用结合的产品E5400存储系统。
 *  2011年6月— Calxeda公司(之前公司的名字是Smooth-Stone)发起了“开拓者行动”，一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。
 *  2011年6月— 数据集成供应商Informatica发布了其旗舰产品，产品设计初衷是处理当今事务和社会媒体所产生的海量数据，同时支持Hadoop。
 *  2011年7月— Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司，旨在让Hadoop更加鲁棒(可靠)，并让企业用户更容易安装、管理和使用Hadoop。
 *  2011年8月— Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统，以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用Hadoop更好的洞察数据。
 *  2011年8月— Dell与Cloudera联合推出Hadoop解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机
 *  …

![在这里插入图片描述][3ca19bcd00eb4e6d9e3ffd9f71cf2c64.png_pic_center]

[5f7422c8903c48b7a9c2cb073324eb2b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1ae8e49fe6d644b69bad1559a5bef2af.png
[https_hadoop.apache.org]: https://hadoop.apache.org/
[15c103fbafd14c7699113d75bb2a53b0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/172e52d261e84bfc9eab0dc9c9e5ac00.png
[https_github.com_apache_hadoop]: https://github.com/apache/hadoop
[8806aea698924fa69a3ba739bc0b2a86.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ef836011a90b4d15b1c42eb0f7c6d016.png
[https_apache.org]: https://apache.org/
[edef7491facd42b2bb1f2dc736b26061.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f30214a9b0394ec8b9361c607f3ae308.png
[58a36132b8274327a3738145178b9c0a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d8a8eb83c490417983d97bc3385232aa.png
[https_spark.apache.org]: https://spark.apache.org/
[7c1c180f63d6450792b91d3d97462419.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9775978bde384012a8b2018251cb34aa.png
[https_hive.apache.org]: https://hive.apache.org/
[7f827f43fd76470b838c4d66f88b1928.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e88f5315b9854ba9a2356121b9504acb.png
[https_flink.apache.org]: https://flink.apache.org/
[9a5ca6d1bc2943dd802715bdfa3b616e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/57de528cf57d4d86b088f9dd240bf35d.png
[c713bc5f44904e3cbecad453cd76554d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f8d0c22ab32f45ce984729466b7051a1.png
[61c02de042ec491594607ac1cf239837.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/22909ea80c8d42a8a600e127dc456d51.png
[db75ae5c64c94e8b92d5c87c7e921971.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9cb81e9cd7e244a992074041ee95d57d.png
[dc864e6ecf5a4dc2b79126ce23bba97b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/85d0ebecab8544e29574896888f94967.png
[3ca19bcd00eb4e6d9e3ffd9f71cf2c64.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2899ee1257a4417689d18fd134245f3e.png