大数据，为什么要学习Hadoop

r囧r小猫 2022-05-22 09:21 246阅读 0赞

六月初到六月中旬，一转眼二十天过去了，又开始新的起点

大数据

# 1、Hadoop是个什么东东 #

Hadoop是一个 开源的【分布式计算 + 分布式存储平台】，是一个大数据的基础架构，基于此进行开发。

# 2、Haddop能做什么 #

它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。

主要的使用场景如：

搜索引擎数据分析、

海量日志分析【一般这个场景多】、

商业智能【数据报表的呈现】、

数据挖掘【沙子里淘金】

# 3、Hadoop的核心组件 #

## 3.1 分布式文件系统：HDFS                ##

## 3.2 资源调度管理系统：YARN            ##

负责整个集群资源的管理调度

YARN的处理能够只需要有hadoop的集群即可，不再需要把 Hive、Hbase 也安装集群，全部交由YARN做资源调度。

![70][]

## 3.3 分布式计算框架：MapReduce     ##

海量数据离线处理

![70 1][]

如上面的三个词条的分析，分拆成三个给三个端处理，让后通过计算结果，再合并，做最后返回。

# 4、Hadoop优势 #

Hadoop的可靠性：

数据存储：文件多副本、文件拆分成多副本

数据计算：重新调度作业计算

Hadoop的扩展性：

存储/计算资源不够时：可以横向的线性扩展机器，提升资源

一个集群可以有上千的节点保证资源的可用。

Hadoop其他优势：

存储可扩展在廉价机器

成熟的生态圈（Hive，Spark，Hbase）什么的，火的不要不要。

# 5、狭义Hadoop 与 广义Hadoop #

## 5.1 狭义Hadoop ##

是一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce）

和资源调度（YARN）的基础平台而已。这仅仅是一个框架

## 5.2 广义Hadoop ##

Hadoop生态系统，Hadoop生态系统是一个非常非常的概念，Hadoop只是其中最基础重要的部分。生态系统里面每一个子系统都是只解决某一个特定的问题域（甚至很小）。而现在在市场上招聘的大数据工程师：指的都是广义的Hadoop，需要动里面的每一个子系统的，所以知识量其实非常大。

![70 2][]

简单说明一下：

HDFS：Hadoop的文件服务系统

YARN：可能也使用Spark 资源调度器

Hbase：Hadoop的数据库，能存储海量数据

Hive：提供一种hiveSQL的sql语言做数据查询。Facebook开源的类似sql查询。（通过Hive的查询引擎转成YARN 去Hadoop做查询）

Rconnectors：统计分析的东东

Mahout：机器学习的东西，已经更不更新了

Pig：脚本语言（离线分析）

Oozie：工作流引擎。

Zookeeper：分布式协调服务。单点故障切换等操作

Flume：nginx ，容器的日志收集做大数据处理分析

Sqoop：sql hadoop从关系型数据库抽取到hive、或Habse里面做分析。或者将分析后的数据导出至关系型数据库做展示图表的操作。

[70]: /images/20220522/a3eb46612cfe40cd8275a1b9379e0396.png
[70 1]: /images/20220522/18dc04a8359d4ff7b46654aa880c9f2b.png
[70 2]: /images/20220522/4ddf9d52d1854e3e83e552d85ef95a5e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，246人围观）

还没有评论，来说两句吧...

相关阅读

相关为什么学习hadoop要安装jdk

在使用 Hadoop 的过程中，JDK 是必需的。这是因为 Hadoop 是用 Java 语言开发的，所以你需要安装 JDK 来编译和运行 Hadoop 程序。另外，Hado

深藏阁楼爱情的钟/ 2024年03月25日 11:40/ 0 赞/ 21 阅读

相关大数据Hadoop学习之——好友推荐

一、算法说明好友关系如图： ![watermark_type_ZmFuZ3poZW5n

谁践踏了优雅/ 2022年11月29日 12:57/ 0 赞/ 187 阅读

相关为什么要学习？

我为什么要学习？这要从我第一次尝试去思考这个问题开始说起。那时候我读初中一年级。（在那之前我一直过着无束的日子，遵循动物的本能）初一的时候，我的班主任

清疚/ 2022年08月21日 07:48/ 0 赞/ 226 阅读

相关为什么要学习数据结构

数据结构是计算机科学与技术专业的专业基础课，是十分重要的核心课程。所有的计算机系统软件和应用软件都要用到各种类型的数据结构。因此，要想更好地运用计算机来解决实际问题，仅掌握几种

淩亂°似流年/ 2022年08月10日 17:38/ 0 赞/ 245 阅读

相关大数据学习笔记——hadoop生态圈

学习hadoop入门阅读资料，google的三篇论文《Google file system》：论述了怎样借助普通机器有效的存储海量的大数据；《Google MapR

短命女/ 2022年05月24日 13:50/ 0 赞/ 227 阅读

相关大数据，为什么要学习Hadoop

六月初到六月中旬，一转眼二十天过去了，又开始新的起点大数据 1、Hadoop是个什么东东 Hadoop是一个开源的【分布式计算 + 分布式存储平台】，是一个大数据

r囧r小猫/ 2022年05月22日 09:21/ 0 赞/ 247 阅读

相关 01 | 为什么要学习数据结构和算法？

> 你是不是觉得数据结构和算法，跟操作系统、计算机网络一样，是脱离实际工作的知识？可能除了面试，这辈子也用不着？尽管计算机相关专业的同学在大学都学过这门课程，甚至很多培训机

Myth丶恋晨/ 2022年05月10日 05:52/ 0 赞/ 197 阅读

相关为什么要学习Linux操作系统？

你好，我是你的老朋友刘超。在“趣谈网络协议”结课半年之后，我又给你带来了一个新的基础课程，“趣谈Linux操作系统”。在“趣谈网络协议”的开篇词中，我表达了作为一个合格的

约定不等于承诺〃/ 2022年04月24日 00:28/ 0 赞/ 252 阅读

相关学习大数据，一定要了解大数据的这些用途

大数据有什么用了解用户特征通过大数据，百度掌握你的隐私，微信知道你的社交圈子，淘宝了解你的购物习惯，移动电信联通三大运营商存有你的通话记录和上网记录…… .在入门学

忘是亡心i/ 2022年01月11日 14:57/ 0 赞/ 241 阅读

相关大数据_Hadoop

大数据\_Hadoop 简述架构模型 1.x版本 2.x版本 HDFS 简述架构

太过爱你忘了你带给我的痛/ 2021年10月06日 04:24/ 0 赞/ 437 阅读