大数据总结

清疚 2022-01-19 05:29 275阅读 0赞

# 编程题：HDFS基本操作、Hive编程、spark编程 #

HDFS的基本操作 [https://blog.csdn.net/a215012954/article/details/91448799][https_blog.csdn.net_a215012954_article_details_91448799]  
Hive的基本操作 [https://blog.csdn.net/a215012954/article/details/91446210][https_blog.csdn.net_a215012954_article_details_91446210]  
spark的基本操作 [https://blog.csdn.net/a215012954/article/details/91447191][https_blog.csdn.net_a215012954_article_details_91447191]

# 大数据 #

*  **大数据的特点**：数据量大、数据类型繁多（结构化数据、半结构化数据、非结构化数据）、处理速度快和价值密度低.。
 *  **结构化数据**主要是指存储在关系数据库中的数据；非结构化数据包括邮件、音频、视频、微信，微博，位置信息、链接信息、手机呼叫信息、网络日志等。
 *  **大数据和传统数据挖掘区别**：①秒级响应②实时分析结果
 *  **批处理计算**针对大规模数据的批量处理，也是我们日常数据分析工作中非常常见的一类数据处理需求。
 *  **流数据**（或数据流）在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须采用实时计算的方式给出秒级响应。

# 云计算 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMTUwMTI5NTQ_size_16_color_FFFFFF_t_70]

*  云计算有3种典型的**服务模式**即IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）。laaS将基础设施（计算资源和存储）作为服务出租，Paas把平台作为服务出租，SaaS把软件作为服务出租。
 *  **云计算类型**：公有云、私有云和混合云。公有云面向所有用户提供服务，只要是注册付费的用户都可以使用，私有云只为特定用户提供服务，混合云综合了公有云和私有云的特点。
 *  **云计算关键技术**：虚拟化、分布式存储、分布式计算、多租户等。
 *  **虚拟化特征**：兼容性，隔离性，封装在文件中，硬件独立
 *  让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“**资源池**”
 *  **虚拟化目的**：提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力  
    分布式存储：面对“数据爆炸”的时代，集中式存储已经无法满足海量数据的存储需求，分布式存储应运而生。
 *  **分布式计算的优点**：并行编程模型MapReduce，让任何人都可以在短时间内迅速获得海量计算能力，它允许开发者在不具备并行开发经验的前提下也能够开发出分布式的并行程序，并让其同时运行在数百台机器上、在短时间内完成海量数据的计算。
 *  **云计算数据中心**是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境  
    控设备以及各种安全装置等。数据中心是云计算的重要载体，为云计算提供计算、  
    各种硬件资源，为各种平台和应用提供运行支撑环境。

# hadoop #

**master**: Resource Manager(MR)、NameNode(HDFS)、DataNode、NodeManager、SecondaryNameNode  
**slave**：DataNode、NodeManager

概念：Hadoop是Apache 软件基金公旗下的一个开源分布式计算平台、为用户提供了系统底层细节、透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。

*  **Hadoop的特性**：高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux 平台、支持多种编程语言
 *  **Hadoop的安装模式**：单机模式、伪分布式模式、分布式模式
 *  **三大技术**：GFS、Bigtable、MapReduce

# Hbase #

*  HBase是一个提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库，
 *  HBase是分布式的列式数据库，采用HDFS作为其底层数据存储。HBase有强大的非结构化数据存储能力。
 *  HBase采用基于列的存储，传统关系数据库采用基于行的存储。
 *  HBase具有良好的横向扩展能力，可以通过不断增加廉价的商用服务器来增加存储能力。

# hive #

Hive 是一个基于Hadoop的数据仓库工具，可以用于对Hadoop文件中的数据集进行数据整理，特殊查询和分析存储。Hive的学习门槛较低，因为它提供了类似于关系数据库SQL语言的查询语言

*  create database test;
 *  use test;
 *  create table test0(product\_id string,comment int,ismobile string)rowformat delimited fields terminated by ‘\\t’ stored as textfile;
 *  load data local inpath ‘/test/comment.txt’ into table test0;
 *  select \* from test0 limit 5;
 *  select case when ismobile = ‘true’ then 1 when ismobile = ‘false’ then 0 end as ismobile count(1) as null from test0 group by ismobile;

# HDFS #

**基本存储单元**：数据块

### 主要组建功能： ###

**NameNode**：存储元数据、元数据保存在内存中、保存文件，block，datanode之间的映射关系  
**DataNode**：存储文件内容、文件内容保存在磁盘中、维护了block id到datanode本地文件的映射关系

*  HDFS是对GFS的开源实现，它采用了更加简单的“一次写入、多次读取”
 *  namenode从datanode接收心跳信号和块状态报告  
    HDFS根目录下创文件夹：hadoop fs -mkdir /000  
    上传文件到HDFS并改名：hadoop fs -put /test/test.txt /000/test1.txt  
    别的操作：tar、rmr、cat等。。。自己看看

# MapReduce #

MapReduce三个层面上的**基本构思**：对大数据：分而治之；上升到抽象模型：Mapper和Reducer；上升到构架：统一构架，为程序员隐藏系统细节  
并行计算的**使用前提**：分而治之；被分割的之间没有依赖关系  
MapReduce的**理念**：**计算向数据靠拢**，移动数据需要大量的网络传输开销，尤其是在大模式数据环境下，这种开销尤为惊人

# Spark #

Spark的**理念**：“**一个软件栈满足不同应用场景**“，逐渐形成了一套完整的生态系统，即能够提供内存计算架构、也可以支持SQL即席查询、机器学习和图计算等。  
操作：

*  转换：map filter join union sample
 *  动作：first top count collect

[https_blog.csdn.net_a215012954_article_details_91448799]: https://blog.csdn.net/a215012954/article/details/91448799
[https_blog.csdn.net_a215012954_article_details_91446210]: https://blog.csdn.net/a215012954/article/details/91446210
[https_blog.csdn.net_a215012954_article_details_91447191]: https://blog.csdn.net/a215012954/article/details/91447191
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMTUwMTI5NTQ_size_16_color_FFFFFF_t_70]: /images/20220119/24b4797e20d345c0b5cb1dec9c97f5f2.png