Hadoop-深入实践（一）

旧城等待， 2022-05-21 08:55 183阅读 0赞

**1. 大数据概念**  
无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。  
=海量数据+复杂类型的数据  
**2. 核心特征**  
数据量大 类型繁多 价值密度低 速度快时效高  
**3. 大数据处理平台**  
离线处理平台 交互式处理平台 流处理平台  
**4.大数据技术路线图**  
![这里写图片描述][70]

**5. Hadoop 定义**  
Apache开源软件基金会开发的运行于大规模服务器上的大数据存储、计算、分析的分布式存储系统和分布式运算框架。  
**Hadoop2.0三部分组成：**  
分布式文件系统HDFS  
资源分配系统Yarn  
分布式运算框架MapReduce  
**6. Hadoop生态系统**  
Hive SQL/MR 编译器  
HBase 列簇的分布式NoSQL  
Zookeeper 分布式协同调度  
Avro 接口序列化  
Flume/NG/Scribe - 数据流收集工具  
Sqoop - ETL工具  
Pig - Pig-Latin/MR编译器  
Mahout - 基于MR的算法库  
**7. Nginx 反向代理服务器**  
优点： 高并发连接  
内存消耗少  
配置文件非常简单  
成本低廉  
支持rewrite重写规则  
内置的健康检查功能  
节省带宽  
稳定性高  
**8. HDFS主要组件的功能**  
NameNode：存储元数据 元数据保存在内存中 保存文件，block，datanode之间的映射关系  
DataNode 存储文件内容 文件内容存储在磁盘 维护了block id到datanode本地恩间的映射关系

**Hdfs**  
HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。

**HDFS的设计特点是：**  
1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。  
2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上，它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得都。  
3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容。  
4、廉价硬件，HDFS可以应用在普通PC机上，这种机制能够让给一些公司用几十台廉价的计算机就可以撑起一个大数据集群。  
5、硬件故障，HDFS认为所有计算机都可能会出问题，为了防止某个主机失效读取不到该主机的块文件，它将同一个文件块副本分配到其它某几个主机上，如果其中一台主机失效，可以迅速找另一块副本取文件。

HDFS的关键元素：  
Block：将一个文件进行分块，通常是64M。  
NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效了。在Hadoop2.\*开始支持activity-standy模式—-如果主NameNode失效，启动备用主机运行NameNode。  
DataNode：分布在廉价的计算机上，用于存储Block块文件。  
![这里写图片描述][70 1]  
上图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。Client就是需要获取分布式文件系统文件的应用程序。这里通过三个操作来说明他们之间的交互关系。  
**文件写入：**  
1. Client向NameNode发起文件写入的请求。  
2. NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。  
3. Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。  
**文件读取：**  
1. Client向NameNode发起文件读取的请求。  
2. NameNode返回文件存储的DataNode的信息。  
3. Client读取文件信息。  
文件Block复制：  
1. NameNode发现部分文件的Block不符合最小复制数或者部分DataNode失效。  
2. 通知DataNode相互复制Block。  
3. DataNode开始直接相互复制。  
**最后再说一下HDFS的几个设计特点（对于框架设计值得借鉴）：**  
1. Block的放置：默认不配置。一个Block会有三份备份，一份放在NameNode指定的DataNode，另一份放在与指定DataNode非同一Rack上的DataNode，最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全，考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。  
2. 心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证数据的安全性。  
3. 数据复制（场景为DataNode失败、需要平衡DataNode的存储利用率和需要平衡DataNode数据交互压力等情况）：这里先说一下，使用HDFS的balancer命令，可以配置一个Threshold来平衡每一个DataNode磁盘利用率。例如设置了Threshold为10%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率的均值，然后判断如果某一个DataNode的磁盘利用率超过这个均值Threshold以上，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode，这对于新节点的加入来说十分有用。  
4. 数据交验：采用CRC32作数据交验。在文件Block写入的时候除了写入数据还会写入交验信息，在读取的时候需要交验后再读入。  
5. NameNode是单点：如果失败的话，任务处理信息将会纪录在本地文件系统和远端的文件系统中。  
6. 数据管道性的写入：当客户端要写入文件到DataNode上，首先客户端读取一个Block然后写到第一个DataNode上，然后由第一个DataNode传递到备份的DataNode上，一直到所有需要写入这个Block的NataNode都成功写入，客户端才会继续开始写下一个Block。  
7. 安全模式：在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

**为什么要选择Hadoop？**  
说完了What，简单地说一下Why。官方网站已经给了很多的说明，这里就大致说一下其优点及使用的场景（没有不好的工具，只用不适用的工具，因此选择好场景才能够真正发挥分布式计算的作用）：  
1. 可扩展：不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。  
2. 经济：框架可以运行在任何普通的PC上。  
3. 可靠：分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。  
4. 高效：分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式，为高效处理海量的信息作了基础准备。

[70]: /images/20220521/ec45bae64b0f4ab68804da26b8604289.png
[70 1]: /images/20220521/38cdcb4505db420d8ed5e828e04310cc.png