大数据基础架构笔记

系统管理员 2022-10-19 00:48 147阅读 0赞

### 文章目录 ###

*  前言
 *  第一章 Hadoop生态《Hadoop权威指南》
 *   *  一、Hadoop版本的区别
     *  二、HDFS（Hadoop Distributed File System）分布式文件管理系统《HDFS源码剖析2.0》
     *   *   *  1.HDFS概述
             *  2.HDFS的Shell相关（开发重点）
             *  3.HDFS的客户端API
             *  4.HDFS的读写流程（面试重点）
             *  5.NN和2NN（了解）
             *  6.Datanode工作机制
     *  三、YARN（YetAnotner Resource Negotiator)架构概述
     *   *   *  1.ResourceManager
             *  2.NodeManager
             *  3.ApplicationMaster
             *  4.Container
     *  四、MapReduce架构概述
     *  五、HBase《HBase原理与实践》
     *   *   *  1、HBase简介
     *  六、Hive
     *  七、总结
 *  第二章 其他相关
 *   *  一、Spark《Spark大数据处理技术》
     *  二、Flink
     *  三、Kafka
     *  四、zookeeper《从Paxos到Zookeeper》

--------------------

# 前言 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center]

本文是个人初涉大数据领域，对其生态和相关组件的基础了解。对相关内容的重点以引用形式标注。  
大数据技术扫盲《大数据技术原理与应用》

--------------------

# 第一章 Hadoop生态《Hadoop权威指南》 #

Hadoop主要解决两件事：海量数据的存储和海量数据的计算。

## 一、Hadoop版本的区别 ##

1.  Hadoop1.x  
    Common（辅助工具）  
    HDFS（数据存储）  
    MapReduce（计算+资源调度）
2.  Hadoop2.x  
    Common（辅助工具）  
    HDFS（数据存储）  
    Yarn（资源调度）  
    MapReduce（计算）  
    相对于1.x来说，降低了逻辑运算和资源调度的耦合性

## 二、HDFS（Hadoop Distributed File System）分布式文件管理系统《HDFS源码剖析2.0》 ##

> 通信框架（RPC）  
> 第一、第二关系管理  
> 读写流程（源码）  
> NN高可用  
> 脑裂  
> 租约管理  
> 联邦机制

#### 1.HDFS概述 ####

1.  定义  
    HDFS是一个文件系统，用于存储文件，通过目录树来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。  
    HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要再修改。
2.  优缺点  
    优点：  
    （1）高容错性：数据自动保存多个副本，他通过增加副本的形式，提高容错性；某一个副本丢失以后，他可以自动恢复。  
    （2）适合处理大数据：能处理数据规模达到GB、TB、甚至PB级别的数据；能够处理百万规模以上的文件数量。  
    （3）可构建在廉价机器上，通过多个副本机制，提高可靠性。  
    缺点：  
    （1）不适合低延时数据访问  
    （2）无法高效的对大量小文件进行存储：会占用大量的NameNode空间，而NameNode的空间也是有限的（正常128G）；小文件寻址时间会超过读取时间。  
    （3）不支持并发写入、文件随机修改  
    （4）仅支持数据的appedn（追加），不支持文件的随机修改

*  组成架构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center 1]
 *  NameNode(nn)：就是master，是一个管理者  
    （1）存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）。即整个数据存储情况的记录。  
    （2）配置副本策略  
    （3）管理数据库块（Block）的映射信息  
    （4）处理客户端读写请求
 *  DataNode：一个slave，NameNode下达命令，DataNode执行实际操作。  
    （1）在本地文件系统存储文件块数据，以及数据的校验和。即具体来存储实际数据块。  
    （2）执行数据块的读写操作
 *  Secondary NameNode：并非NameNode的热备。当NameNode挂了，他并不能立马替换NameNode并提供服务。  
    （1）辅助NameNode的工作量，比如定期合并Fsimage（镜像文件）和Edits（编辑日志），并推送给NameNode  
    （2）紧急情况下，可辅助恢复NameNode
 *  Client：客户端  
    （1）文件切分，按照NameNode的文件块（128M/256M）来分  
    （2）与NameNode交互，获取文件的位置信息  
    （3）与DataNode交互，读取或者写入数据  
    （4）Client提供一些命令来管理HDFS，比如NameNode格式化  
    （5）Client可以通过一些命令来访问HDFS，比如对HDFS增删改查操作
 *  文件块大小（面试重点）

#### 2.HDFS的Shell相关（开发重点） ####

创建test文件夹

hadoop fs -mkdir /test

*  上传

（1）-moveFromLocal 从本地剪切粘贴到HDFS
    hadoop fs -moveFromLocal 源文件 /test
    （2）-copyFromLocal 从本地文件系统中拷贝文件到HDFS路径去
    hadoop fs -copyFromLocal 源文件 /test
    （3）-put 等同于-copyFromLocal，习惯用put
    hadoop fs -put 源文件 /test
    （4）-appendToFile 追加一个文件到已经存在的文件末尾
    hadoop fs -appendToFile 源文件 /test

*  下载

（1）-copyToLocal 从HDFS到本地
    hadoop fs -copyToLocal /test 目标文件
    （2）-get 等同于copyToLocal
    hadoop fs -get /test 目标文件

*  HDFS直接操作

（1）-ls 显示目录信息
    （2）-cat 显示文件内容
    （3）-chgrp、-chmod、-chown Linux文件系统中的用法一样，修改文件所属权限
    （4）-mkdir 创建路径
    （5）-cp 从HDFS的一个路径拷贝到HDFS的另一个路径
    （6）-mv 在HDFS目录中移动文件
    （7）-tail 显示一个文件的末尾1kb的数据
    （8）-rm 删除文件或文件夹
    （9）-rm -r 递归删除目录及目录里面的内容
    （10）-du 统计文件夹的大小信息
    （11）-setrep 设置HDFS中文件的副本数

#### 3.HDFS的客户端API ####

#### 4.HDFS的读写流程（面试重点） ####

#### 5.NN和2NN（了解） ####

#### 6.Datanode工作机制 ####

## 三、YARN（YetAnotner Resource Negotiator)架构概述 ##

> 调度原理流程  
> 资源调度器  
> 资源隔离机制  
> RM高可用

YARN是Hadoop的资源管理器，主要管理CPU和内存

#### 1.ResourceManager ####

整个集群资源（内存、cpu等）的老大

#### 2.NodeManager ####

单节点服务器资源的老大，可以有多个container容器。

#### 3.ApplicationMaster ####

客户端提交任务，节点会产生一个app master，他是单个任务的老大。  
当他需要运行任务时，会向resource manager申请需要的资源，res manager就给他分配对应的容器去运行，且可以跨节点。

#### 4.Container ####

容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如cpu、内存、磁盘、网络等。app master就运行于container中。

## 四、MapReduce架构概述 ##

> MR流程  
> shuffle机制  
> MR调优  
> 全排序

MapReduce将计算过程分为两个阶段  
1、map阶段并行处理输入数据  
2、reduce阶段对map结果进行汇总

## 五、HBase《HBase原理与实践》 ##

> 数据模型  
> 架构组成  
> 读写流程  
> 建表优化  
> 布隆过滤器  
> 协处理器  
> HBase优化设计

#### 1、HBase简介 ####

*  1.1 HBase定义  
    HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
 *  1.2 HBase数据模型  
    和关系型数据库很类似，数据有行有列的存在一张表中。但从底层物理存储结构（K-V）来看，HBase更像一个multi-dimensional map(多维度的map)。
    
     *  1.2.1 HBase逻辑结构  
        列  
        列族：按列划分，不同列族存于不同的HFile中。  
        行键（Row Key)：字典序，按位比较排序。要求唯一，若不唯一，则覆盖。  
        Region：一张表的横向切片，不同region在不同文件夹。按Row Key划分。  
        store：真正存于HDFS的内容，每个Region,每个列族切分后的不同块，存于不同文件夹。  
        元数据可以放在内存里
     *  1.2.2 HBase物理存储结构  
        举例：
    
    <table> 
     <tbody> 
      <tr> 
       <td> </td> 
       <td>列族 </td> 
      </tr> 
      <tr></tr> 
      <tr> 
       <td>RowKey </td> 
       <td>name </td> 
       <td>city </td> 
       <td>phone </td> 
      </tr> 
      <tr></tr> 
      <tr> 
       <td>row_key1 </td> 
       <td>张三 </td> 
       <td>北京 </td> 
       <td>131******* </td> 
      </tr> 
      <tr></tr> 
     </tbody> 
    </table>
    
    <table></table>

对于张三这一条数据来说：

<table> 
 <thead> 
  <tr> 
   <th>Row Key</th> 
   <th>Column Family</th> 
   <th>Column qualifier</th> 
   <th>TimeStamp</th> 
   <th>Type</th> 
   <th>Value</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>row_key1</td> 
   <td>列族</td> 
   <td>name</td> 
   <td>t1</td> 
   <td>put</td> 
   <td>张三</td> 
  </tr> 
  <tr> 
   <td>row_key1</td> 
   <td>列族</td> 
   <td>city</td> 
   <td>t2</td> 
   <td>put</td> 
   <td>北京</td> 
  </tr> 
  <tr> 
   <td>row_key1</td> 
   <td>列族</td> 
   <td>phone</td> 
   <td>t3</td> 
   <td>put</td> 
   <td>131*******</td> 
  </tr> 
 </tbody> 
</table>

TimeStamp时间戳很重要，就是用它来实现随机写操作，用于版本控制。比如：要修改name，那么只需要name2的时间戳>name即可，由于row\_key相同，会发生覆盖；如果要删除name，那么时间戳必须大于>name。也就是说总是返回时间戳最大的那个数据。  
Type对于删除操作是Delete。

*  1.2.3 数据模型

1.  Name Space  
    命名空间，类似于database。每个命名空间下有多个表，HBase有两个自带的命名空间，分别是habse，default。hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。
2.  Region（按rowkey切分）  
    HBase在定义的时候，不需要定义出列是什么。Region默认要很大才会切，但是可以手动切
3.  Row  
    HBase每行数据都是一个RowKey和多个Column(列）组成，数据是按RowKey的字典序存储的，查询数据智能根据RowKey检索。
4.  Column  
    HBase中的每个列都由列族（CF）和列限定符（CQ）进行限定。如：info：name，info：age建表时只需指明列族，列限定符无需预先定义。
5.  Time Stamp  
    用于标识数据的不同版本(数据除了版本和value不同，其他必须相同），如果不指定，系统会自动添加，就是HBase写入的时间。
6.  Cell  
    由\{Rowkey,column family:column Quslifier,time stamp\}唯一确定的单元，cell中的数据没有类型，全部是字节码（byte\[\]）形式存贮。

*  1.3 HBase基本架构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center 2]  
    RegionServer的作用（操作数据DML）:  
    Data:get,put,delete  
    Region:splitRegion,compactRegion  
    Master的作用（操作表DDL）:  
    Table:create,delete,alter  
    RegionServer:分配regions到每个RegionServer，监控每个RegionServer的状态

## 六、Hive ##

> HSQL  
> SQL转换过程  
> 内部表和外部表  
> 分区、分桶  
> 严格模式  
> 数据倾斜  
> 性能调优

## 七、总结 ##

HDFS、YARN、MapReduce之间的关系  
比如，此时有一个任务提交过来，  
1、ResourceManager给该任务开启一个Container一  
2、App master向ResourceManager申请资源  
3、ResourceManager发现有其他Container二有这样的资源，那么就让Container一的App master去开启其他容器的map task  
4、map task检索对应的DataNode（map阶段，无论是否检索到，都要返回一个结果）  
5、最终reduce task会将结果汇总写到磁盘上  
6、NameNode执行一个记录操作  
7、Secondary NameNode备份NameNode的记录

--------------------

# 第二章 其他相关 #

## 一、Spark《Spark大数据处理技术》 ##

> scala语法  
> RDD  
> 分区函数  
> 任务调度  
> 容错机制  
> shuffle过程  
> 数据倾斜

## 二、Flink ##

> 微批处理思想–spark streaming  
> 流批统一思想  
> 架构  
> 窗口机制  
> Barrier机制  
> At least once语义  
> back-pressure  
> 调优手段  
> 发展快、新特性  
> 精华：锚点机制-storm（日渐淘汰）

## 三、Kafka ##

> 为什么用消息队列  
> 架构组成、特点  
> 消息有序性  
> 存储机制  
> 消息丢失、消息重复  
> kafka与其他组件连接

## 四、zookeeper《从Paxos到Zookeeper》 ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/f721900ae3664e138859b56f8019dc11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/76a2207e43654240b4086d0c6acfd032.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Nlbm55Xw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221005/29b154b0630e4d5c894b4aa378985878.png