Hadoop 扫盲&快速入门

浅浅的花香味﹌ 2022-12-10 03:46 194阅读 0赞

### Hadoop 扫盲&快速入门 ###

*  一、关于Hadoop
 *   *  核心架构
 *  二、Hadoop快速入门
 *  三、Hadoop&MapReduce区别
 *  四、Hadoop大数据处理的意义

***叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！***  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]

# 一、关于Hadoop #

**Hadoop Distributed File System**

Hadoop是一个由Apache基金会所开发的`分布式系统基础架构`。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行`高速运算和存储`。

Hadoop实现了一个`分布式文件系统`（Hadoop Distributed File System），其中一个组件是`HDFS`。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

`Hadoop的框架最核心的设计就是：HDFS和MapReduce。`**HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。**

## 核心架构 ##

Hadoop 由许多元素构成。其最底部是 `Hadoop Distributed File System（HDFS）`，它存储 Hadoop 集群中所有存储节点上的文件。HDFS的上一层是`MapReduce 引擎`，该引擎由 `JobTrackers 和 TaskTrackers` 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心 。

# 二、Hadoop快速入门 #

详细参见快速入门文档：

[快戳这里直达~][Link 1]

http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

# 三、Hadoop&MapReduce区别 #

`Hadoop`

是一种分布式数据和计算的框架。它很擅长`存储大量的半结构化的数据集`。数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅长分布式计算——快速地跨多台机器处理大型数据集合 。

`MapReduce`

**是处理大量半结构化数据集合的编程模型**。编程模型是一种处理并结构化特定问题的方式。例如，在一个关系数据库中，使用一种集合语言执行查询，如SQL。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传统的语言(C++，Java)，一步步地来解决问题。这是两种不同的编程模型，MapReduce就是另外一种 。

MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好 。

![在这里插入图片描述][20200923173340209.png_pic_center]

# 四、Hadoop大数据处理的意义 #

![在这里插入图片描述][20200923172726213.png_pic_center]

Hadoop得以在大数据处理应用中广泛应用得益于其自身在`数据提取`、`变形`和`加载(ETL)`方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了`将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里`。

**Ending！**  
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

![在这里插入图片描述][20200207152559955.png_pic_center]

注：  
人生在勤，不索何获。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNTQzNzg5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ef9ed42a168e4ca7b6a4a7c39f667a1c.png
[Link 1]: http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
[20200923173340209.png_pic_center]: /images/20221123/923d63b9209942af9b947d7f513abb2a.png
[20200923172726213.png_pic_center]: /images/20221123/e53cb29c40a94e5da7153444cece6454.png
[20200207152559955.png_pic_center]: /images/20221123/f64c4967a19342c5a8100a115b77b241.png