Spark学习之简介

朱雀 2022-01-19 04:43 587阅读 0赞

之前看了一些Spark的相关内容，我觉得很有必要进行总结一下，不然都搭不起自己的知识框架。

# Apache Spark #

Apache Spark™是用于大规模数据处理的统一分析引擎，是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。 [官网地址:http://spark.apache.org/][http_spark.apache.org]

--------------------

# Spark的主要特点 #

1.  提供Cache机制来支撑需要反复迭代计算或者多次数据共享，减少数据的I/O开销；
2.  提供支持DAG图的分布式并行计算变成框架，减少多次计算之间中间结果写到HDFS的开销；
3.  使用多线程池模型来减少Task启动开销，Shuffle操作中避免不必要的sort操作，并减少磁盘操作。

--------------------

# Spark与Hadoop的比较 #

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">Hadoop的局限</th> 
   <th style="text-align:center;">Spark的改进</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">抽象层次低， 代码编写难易上手</td> 
   <td style="text-align:center;">通过使用RDD的统一抽象，实现数据处理逻辑的代码非常简洁。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">只提供map和reduce两个操作，表达能力有限</td> 
   <td style="text-align:center;">通过RDD提供了很多transformation和action操作，实现了很多基本的操作，比如Sort，Join等。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">一个job只有Map和Reduce两个阶段，复杂的程序需要大量的Job来完成，比起给Job之间的以来关系需要应用户自行管理</td> 
   <td style="text-align:center;">一个Job可以包含多个RDD转换操作，只需要在调度时生成多个Stage。一个Stage中可以包含多个Map操作，只需要Map操作使用的RDD分区保持不变。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">处理逻辑隐藏在代码细节中，缺少整体逻辑视图</td> 
   <td style="text-align:center;">RDD的转换支持流式API，提供处理逻辑的整体视图</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">对迭代式的数据处理性能比较差，Reduce与下一步Map之间的中间结果只能保存在HDFS文件系统中</td> 
   <td style="text-align:center;">通过内存缓存数据，可大大提高迭代式计算的性能，内存不足是可以溢出到磁盘上。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">ReduceTask需等待所有MapTask都完成后才开始执行</td> 
   <td style="text-align:center;">分区相同的转换操作可以在一个Task中以流水线的形式执行，只有分区不同的转换需要Shuffle操作。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">时延高，只适用于批数据处理，对交互式数据处理和实时数据处理的支持不够</td> 
   <td style="text-align:center;">将流拆成小的Batch，提供Discretized Stream处理流数据</td> 
  </tr> 
 </tbody> 
</table>

--------------------

# Spark主要组件 #

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">名称</th> 
   <th style="text-align:center;">功能</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">SparkCore</td> 
   <td style="text-align:center;">将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">SparkSQL</td> 
   <td style="text-align:center;">Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">SparkStreaming</td> 
   <td style="text-align:center;">是Spark提供的实时数据进行流式计算的组件。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">MLlib</td> 
   <td style="text-align:center;">提供常用机器学习算法的实现库。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">GraphX</td> 
   <td style="text-align:center;">提供一个分布式图计算框架，能高效进行图计算。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">BlinkDB</td> 
   <td style="text-align:center;">用于在海量数据上进行交互式SQL的近似查询引擎。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">Tachyon</td> 
   <td style="text-align:center;">以内存为中心高容错的的分布式文件系统。</td> 
  </tr> 
 </tbody> 
</table>

# Spark Cluster Managers #

cluster manager值集群上获取资源的外部服务器

1.  Standalone: Spark原生的资源管理器，有manager负责资源的分配
2.  Apache Messo: 与Hadoop MR兼容性良好的资源调度框架
3.  Hadoop Yarn： 指yarn中的resourceManager

推广一下自己的个人博客 [zicesun.com][]

转载于:https://juejin.im/post/5cfdc98ae51d455071250ae6

[http_spark.apache.org]: https://link.juejin.im?target=http%3A%2F%2Fspark.apache.org%2F
[zicesun.com]: https://link.juejin.im?target=zicesun.com