Hadoop原理和特性

墨蓝 2021-09-21 05:02 265阅读 0赞

### 一、Hadoop ###

（一）定义

Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

（二）运行模式：

1.  本地模式：一个节点，不会启动任何服务
2.  伪分布式模式：一个节点，所有服务均运行在该节点上
3.  分布式模式：多个节点

--------------------

### 二、Hadoop 构成：HDFS（分布式存储系统） ###

（一）HDFS 特性：

1. 良好的扩展性

2. 高容错性（多备份性，保持数据不丢失）

3. 适合 PB 级以上海量数据的存储

（二）基本原理：

1. 将文件切分成等大的数据块，存储到多台机器上

2. 将数据切分、容错、负载均衡等功能透明化

3. 可将 HDFS 看成一个容量巨大、具有高容错性的磁盘

（三）HDFS 优点

1. 高容错性：

数据自动保存多个副本（默认为 3 份）

副本丢失后，自动恢复

2. 适合批处理

移动计算而非数据

数据位置暴漏给计算框架

3. 适合大数据数量

TB、PB 级别数据

百万规模以上的文件数量

4. 流式文件访问

一次性写入，多次读取

保证数据一致性

5. 可构建在廉价的机器上

通过多副本提高可靠性

提供了容错和恢复机制

（四）HDFS 缺点

1. 小文件存储

小文件占用 NameNode 大量内存

寻道时间超过读取时间

2. 并发写入、文件随机修改

一个文件只能有一个写者 (不能支持多线程写入)

仅支持 append(追加)，不支持修改（如果修改会生成新的文件，删除旧文件）

3. 低延迟数据访问

比如毫秒级（用 MapReduce 计算达不到毫秒级）

低延迟与高吞吐率

--------------------

### 三、Hadoop 构成：YARN（资源管理系统） ###

（一）Yarn 是什么：

1. 负责集群的资源管理和调度

2. 使多种计算框架可以运行在一个集群中

（二）Yarn 特点：

1. 良好的扩展性、高可用性（任何一个组件出现问题都不影响集群运行）

2. 对多种类型的应用程序进行统一管理和调度

3. 自带了多种用户调度器、适合共享集群环境

--------------------

### 四、Hadoop 构成：MapReduce(分布式计算框架) ###

（一）MapReduce 特点：

1. 良好的扩展性（加的机器越多计算越快）

2. 高容错性

3. 适合 PB 级以上海量数据的离线处理

（二）如何执行：

分为 Map 和 Reduce 两个阶段，先经过 Map 阶段很多任务并行处理，再经过 Reduce 阶段合并，先拆分再合并，分而治之

--------------------

### 五、Hadoop 构成：Hive（基于 MR 的数据仓库） ###

1. 构建在 Hadoop 之上的数据仓库，数据计算使用 MapReduce，存储使用 HDFS

2.Hive 定义了一种类 SQL 查询语言 --HQL，类似 sql 但不完全相同（大部分相同）

3. 通常用于进行离线数据处理（采用 MapReduce）

4. 可认为是一个 HQL-MR 的语言翻译器

--------------------

### 六、MapReduce ###

利用了分而治之的思想

map分开处理数据，reduce把数据进行整合统计（10个书架的书本数量，10个同学去计算，然后汇总）

处理过程：map的输入输出和逻辑、reduce的输入输出和逻辑，在把二者装配成一个job，提交给Hadoop即可。

MapReduce 每读到一行数据，就会调用map方法；map的处理流程就是接受一个key-value（key是行号，value是内容），在输出一个key-value

客户端提交任务时，先到hdfs（分布式存储系统）查看目标文件大小，然后形成任务分配规划，然后把相应文件、配置文件提交给yarn（资源管理器），为任务分配提供合适的服务器资源。

--------------------

### 七、Hadoop集群搭建 ###

http://hadoop.apache.org/docs/r1.0.4/cn/cluster\_setup.html

--------------------

**【Java 面试那点事】**

**这里致力于分享 Java 面试路上的各种知识，无论是技术还是经验，你需要的这里都有！**

**这里可以让你【快速了解 Java 相关知识】，并且【短时间在面试方面有跨越式提升】**

**面试路上，你不孤单！**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTQ1MjQ2_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTQ1MjQ2_size_16_color_FFFFFF_t_70]: /images/20210920/bf36f16ab53041e0af498b2377ab9019.png