Hadoop入门及介绍

落日映苍穹つ 2022-10-14 00:40 202阅读 0赞

# 入门 #

## 大数据概念 ##

大数据的目的是为了解决海量数据存储和海量数据分析计算的问题。

## 大数据的特点—4V ##

Volume大量；数据量

Velocity高速；数据产生的高速

Variety多样（数据类型分为结构化数据，如数据库、文本等；和非结构化数据，如视频、音频、网络日志等）；

Value低价值密度。

## 大数据应用场景 ##

物流仓储；零售；旅游；商品广告推荐；保险；金融；房地产；人工智能

## 部门业务流程分析 ##

产品人员提需求——数据部门搭建数据平台、分析数据指标——数据可视化

## 大数据部门组织结构 ##

平台组——技术

数据仓库组——业务

数据挖掘组——算法

报表开发组：打下手

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]

# Hadoop介绍 #

## Hadoop是什么 ##

是由Apache基金会所开发的分布式系统基础架构，以后的框架大多数会依赖Hadoop进行数据的存储。

主要解决，海量数据的存储和海量数据的分析问题；

广义上来说，Hadoop通常指更广泛的Hadoop生态圈。

## 发展历史 ##

Doug Cutting创始人；

谷歌的论文：GFS–>HDFS、Map-Reduce–>MR、BigTable–>HBase

## 三大发行版本 ##

Apache版本（Apache版）为最原始最基础的版本，对于入门学习最好；

Cloudera（CDH版）在大型互联网企业中用的比较多，收费；

Hortonworks文档比较好

## 优势——4高 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]

## 1.x和2.x区别 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]

2.x加入yarn主要是为了解耦，即模块化。

## 架构概述 ##

HDFS架构：

NameNode（nn）：相当于目录

DataNode（dn）：具体的数据

Secondary NameNode（2nn）

YARN架构：

ResourceManager（RM）：

负责资源调度与分配、处理客户端请求、监控NodeManager、启动或监控ApplicationMaster

NodeManager（NM）：

管理单个节点上的资源、处理来自于RM的命令，处理来自ApplicationMaster的命令

ApplicationMaster（AM）：

负责数据切分、为应用程序申请资源并分配给内部任务、任务的监控与容错

Container：

是YARN的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘等。

MapReduce架构：

Map阶段并行处理输入数据；

Reduce阶段对Map结果进行汇总

Map分，Reduce合。

## 大数据技术生态体系 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3][]

# Hadoop目录及文件 #

bin目录下存放的是hadoop的命令，如hadoop、hdfs等

etc目录下存放配置文件

share目录下有各种文档和案例的jar包

sbin目录下存放各种服务启动、停止的脚本

# Hadoop运行模式 #

本地模式Standalone Opearation，测试和学习时使用

伪分布式Pseudo-Distributed Operation，测试和学习时使用

完全分布式Full-Distributed Operation，正式使用的

hadoop官网：[http://hadoop.apache.org/][http_hadoop.apache.org]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20221014/e691b2788bb8481e8ef64529f347a13f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]: /images/20221014/66caf87f5833441d984ecbf63696d6d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]: /images/20221014/1130ab8b219e42fea6c254c5079f88f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3]: /images/20221014/0a03c4dd64a74c179787da6f6f9590f5.png
[http_hadoop.apache.org]: http://hadoop.apache.org/