官方Spark Programming Guide学习心得(V2.1.0)

ゞ浴缸里的玫瑰 2022-09-28 11:47 106阅读 0赞

原文地址：[http://spark.apache.org/docs/latest/programming-guide.html][http_spark.apache.org_docs_latest_programming-guide.html]

写的简单明了，实际中要注意的几点：

1、客户端版本库引用，开始不支持JDK7：

spark引用 groupId 
       
        =
       
        org.apache.spark artifactId 
       
        =
       
        spark
       
        -
       
        core_2.
       
        11
       
        version 
       
        =
       
        
       
        2.1
       
        .
       
        0
       
        如果需要hdfs，需要引用 groupId 
       
        =
       
        org.apache.hadoop artifactId 
       
        =
       
        hadoop
       
        -
       
        client version 
       
        =
       
        
       
        <
       
        your
       
        -
       
        hdfs
       
        -
       
        version
       
        >

2、初始化环境

SparkConf conf 
       
        =
       
        
       
        new
       
        SparkConf().setAppName(appName).setMaster(master); JavaSparkContext sc 
       
        =
       
        
       
        new
       
        JavaSparkContext(conf);

本地集成环境运行的话，要设置master为local

3、常用的RDD操作

##### Transformations #####

##### Actions #####

4、通过介绍[`reduceByKey`][reduceByKey]来解释Shuffle operations

**文档写的真棒！**

**推荐infoq上一篇文章，也非常好：**

[http://www.infoq.com/cn/articles/spark-core-rdd][http_www.infoq.com_cn_articles_spark-core-rdd]  理解Spark的核心RDD，摘要：

5、RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。针对数据处理有几种常见模型，包括：Iterative Algorithms，Relational Queries，MapReduce，Stream Processing。例如Hadoop MapReduce采用了MapReduces模型，Storm则采用了Stream Processing模型。

6、图解RDD

![1rdd_stage.jpg][]

本图来自Matei Zaharia撰写的论文An Architecture for Fast and General Data Processing on Large Clusters。图中，一个box代表一个RDD，一个带阴影的矩形框代表一个partition。

注意理解：map /groupBy/union/join的RDD操作的shuffle

7、推荐论文： An Architecture for Fast and General Data Processing on Large Clusters

[http_spark.apache.org_docs_latest_programming-guide.html]: http://spark.apache.org/docs/latest/programming-guide.html
[reduceByKey]: http://spark.apache.org/docs/latest/programming-guide.html#ReduceByLink
[http_www.infoq.com_cn_articles_spark-core-rdd]: http://www.infoq.com/cn/articles/spark-core-rdd
[1rdd_stage.jpg]: http://cdn2.infoqstatic.com/statics_s2_20170228-0434_4/resource/articles/spark-core-rdd/zh/resources/1rdd_stage.jpg