Spark广播变量实现原理及基础编程

约定不等于承诺〃 2023-10-03 14:21 5阅读 0赞

### Spark广播变量实现原理及基础编程 ###

#### 实现原理 ####

> 广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个 Spark 操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，广播变量用起来都很顺手。在多个并行操作中使用同一个变量，但是 Spark 会为每个任务分别发送。

#### 基础编程 ####

##### pom #####

<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <spark.version>3.1.1</spark.version>
        <spark.scala.version>2.12</spark.scala.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${spark.scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>

##### 代码 #####

package com.zxl.spark.core
    
    import org.apache.spark.broadcast.Broadcast
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{
        SparkConf, SparkContext}
    
    object BroadcastDemo {
        
      def main(args: Array[String]): Unit = {
        
        val conf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("BroadcastDemo")
        val sc: SparkContext = new SparkContext(conf)
        val rdd: RDD[(String, Int)] = sc.makeRDD(List( ("a",1), ("b", 2), ("c", 3), ("d", 4) ),4)
        val list: List[(String, Int)] = List(("a", 4), ("b", 5), ("c", 6), ("d", 7))
        val broadcast: Broadcast[List[(String, Int)]] = sc.broadcast(list)
        //这里使用到的是偏函数
        rdd.map{
        
          case (key,num)=>{
        
            var num2=0
            for ((k,v) <- broadcast.value) {
        
              if (k==key){
        
                num2=v
              }
            }
            (key,(num,num2))
          }
        }.collect().foreach(println)
      }
    }

##### 运行结果 #####

(a,(1,4))
    (b,(2,5))
    (c,(3,6))
    (d,(4,7))