Spark入门系列(1)-Spark简介

亦凉 2023-10-10 12:27 16阅读 0赞

## 概述 ##

[官网][Link 1]  
Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。

Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。

Spark 以其先进的设计理念，迅速成为社区的热门项目，围绕着 Spark 推出了 SparkSQL、SparkStreaming、MLlib 和 GraphX 等组件，逐渐形成大数据处理一站式解决平台。

## Spark and Hadoop ##

### 发展历史 ###

#### Hadoop ####

*  2006 年 1 月，Doug Cutting 加入 Yahoo，领导 Hadoop 的开发
 *  2008 年 1 月，Hadoop 成为 Apache 顶级项目
 *  2011 年 1.0 正式发布
 *  2012 年 3 月稳定版发布
 *  2013 年 10 月发布 2.X (Yarn)版本

#### Spark ####

*  2009 年，Spark 诞生于伯克利大学的 AMPLab 实验室
 *  2010 年，伯克利大学正式开源了 Spark 项目
 *  2013 年 6 月，Spark 成为了 Apache 基金会下的项目
 *  2014 年 2 月，Spark 以飞快的速度成为了 Apache 的顶级项目
 *  2015 年至今，Spark 变得愈发火爆，大量的国内公司开始重点部署或者使用 Spark

### 功能对比 ###

#### Hadoop ####

*  Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式  
    分析应用的开源框架
 *  作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有  
    的 数 据 ， 支 持 着 Hadoop 的 所 有 服 务 。 它 的 理 论 基 础 源 于 Google 的  
    TheGoogleFileSystem 这篇论文，它是 GFS 的开源实现。
 *  MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现，  
    作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。基于这个框架，分布式并行  
    程序的编写变得异常简单。综合了 HDFS 的分布式存储和 MapReduce 的分布式计  
    算，Hadoop 在处理海量数据时，性能横向扩展变得非常容易。
 *  HBase 是对 Google 的 Bigtable 的开源实现，但又和 Bigtable 存在许多不同之处。  
    HBase 是一个基于 HDFS 的分布式数据库，擅长实时地随机读/写超大规模数据集。  
    它也是 Hadoop 非常重要的组件。

#### Spark ####

*  Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎
 *  Spark Core 中提供了 Spark 最基础与最核心的功能
 *  Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用  
    SQL 或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。
 *  Spark Streaming 是 Spark 平台上针对实时数据进行流式计算的组件，提供了丰富的  
    处理数据流的 API。

### 综合分析 ###

Hadoop 已经成了大数据技术的事实标准，Hadoop MapReduce 也非常适合于对大规模数据集合进行批处理操作，但是其本身还存在一些缺陷。特别是MapReduce 存在的延迟过高，无法胜任实时、快速计算需求的问题，使得需要进行多路计算和迭代算法的用例的作业过程并非十分高效。

与 Hadoop 相比，Spark 有较大优势，但是并不能够取代 Hadoop。

Spark 是基于内存进行数据处理的，所以不适合于数据量特别大、对实时性要求不高的场合。另外，Hadoop 可以使用廉价的通用服务器来搭建集群，而 Spark 对硬件要求比较高，特别是对内存和 CPU 有更高的要求。

## Spark生态圈 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]

### Spark Core ###

Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的。

### Spark Streaming ###

Spark Streaming 是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如 Kafka、Flume、Twitter、Zero 和 TCP 套接字）进行类似 map、reduce 和 join 的复杂操作，并将结果保存到外部文件系统、数据库中，或应用到实时仪表盘上。

Spark Streaming 的核心思想是将流式计算分解成一系列短小的批处理作业，这里的批处理引擎是 Spark Core。也就是把 Spark Streaming 的输入数据按照设定的时间片（如 1 秒）分成一段一段的数据，每一段数据都转换成 Spark 中的 RDD，然后将 Spark Streaming 中对 DStream 的转换操作变为对 Spark 中的 RDD 的转换操作，将 RDD 经过操作变成的中间结果保存在内存中。

根据业务的需求，整个流式计算可以对中间结果进行叠加，或者将中间结果存储到外部设备。

### Spark SQL ###

Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。

### Spark MLlib ###

Spark MLlib 实现了一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维及底层优化，并且该算法可以进行扩充。Spark MLlib 降低了机器学习的门槛，开发人员只要具备一定的理论知识就能进行机器学习的工作。

### Spark GraphX ###

Spark GraphX 是 Spark 中用于图并行计算的 API，可以认为是 GraphLab 和 Pregel 在 Spark 上的重写及优化。与其他分布式图计算框架相比，Spark GraphX 最大的贡献是在 Spark 之上提供了一站式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。

Spark GraphX 的核心抽象是 Resilient Distributed Property Graph，即一种点和边都带属性的有向多重图。它扩展了 Spark RDD 的抽象，有 Table 和 Graph 两种视图，而只需要一份物理存储。两种视图都有自己独有的操作符，从而使得操作灵活，并提高了执行效率。

[Link 1]: https://spark.apache.org
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210126150139774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70