Spark广播变量和累加器

心已赠人 2024-04-20 09:38 75阅读 0赞

### 一.广播变量图解 ###

![1343081-20190722205812552-757845358.png][]

### 二.代码　 ###

1 val conf = new SparkConf()
    2 conf.setMaster("local").setAppName("brocast")
    3 val sc = new SparkContext(conf)
    4 val list = List("hello xasxt")
    5 val broadCast = sc.broadcast(list)
    6 val lineRDD = sc.textFile("./words.txt")
    7 lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}
    8 sc.stop()

### 三.注意事项 ###

1.不能将一个RDD使用广播变量广播出去，因为RDD是不存储数据的【弹性分布式数据集】。可以将RDD的结果广播出去【collect，数据不能太多】。

2.广播变量只能在Driver端定义，不能在Executor端定义。

3.在Driver端可以修改广播变量的值，在Executor端无法修改广播变量的值。

### 四.累加器图解 ###

![1343081-20190722210219304-375230243.png][]

### 五.代码 ###

1 val conf = new SparkConf()
    2 conf.setMaster("local").setAppName("accumulator")
    3 val sc = new SparkContext(conf)
    4 val accumulator = sc.accumulator(0)
    5 sc.textFile("./words.txt").foreach { x =>{
        accumulator.add(1)}}
    6 println(accumulator.value)
    7 sc.stop()

### 六.注意事项 ###

1.累加器在Driver端定义赋初始值，累加器只能在Driver端读取，在Excutor端更新。

转载于:https://www.cnblogs.com/yszd/p/11228392.html

[1343081-20190722205812552-757845358.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/28faf99c820d4f02837e5d059fa6a4ca.png
[1343081-20190722210219304-375230243.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/87024304f8b245be9a8d46382cf329ba.png

发表评论取消回复

表情：

评论列表（有 0 条评论，75人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark广播变量和累加器

一.广播变量图解　　![1343081-20190722205812552-757845358.png][] 二.代码　 1 val conf = ...

心已赠人/ 2024年04月20日 09:38/ 0 赞/ 76 阅读

相关 Spark Streaming整合检查点与累加器/广播变量

一.简介无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用检查点并同时使用“ 累加器”或“广播变量” ，则必须为“累加器”和“广播变量”创建延

电玩女神/ 2022年12月13日 04:04/ 0 赞/ 195 阅读

相关 SparkCore（五）：累加器和广播变量

文章目录一、累加器二、广播变量一、累加器累加器的使用累加器（分布式共享只写变量）： 1. 将累加器变量注册到`spark`中 2.

蔚落/ 2022年11月20日 10:53/ 0 赞/ 165 阅读

相关 spark系列13：闭包，累加器，广播变量

1. RDD 的分布式共享变量、闭包目标 1. 理解闭包以及 Spark 分布式运行代码的根本原理 2. 理解累加变量的使用场景 3. 理解广播的使用场景什

Myth丶恋晨/ 2022年10月23日 02:59/ 0 赞/ 173 阅读

相关 Spark-核心编程（六）累加器与广播变量

累加器分布式共享只写变量，Executor之间是不能互相访问到累加器的，Driver可以获取到Executor中累加器的数据。实现原理累加器用来把 Exec

╰+攻爆jí腚メ/ 2022年09月03日 04:25/ 0 赞/ 175 阅读

相关 spark广播变量和累加器

spark广播变量和累加器广播变量 Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),

叁歲伎倆/ 2022年07月13日 14:41/ 0 赞/ 189 阅读

相关 10.7 Spark广播变量和累加器

广播变量：广播变量是在Driver端定义的，在Executor端读取，在Executor端是不能修改的，这样线程就安全线程安全：单线程和多线程计算结果一致当定义了外

小咪咪/ 2022年05月19日 13:53/ 0 赞/ 224 阅读

相关 Spark系列--SparkCore(七)广播变量和累加器

一、广播变量　　通常情况下，当一个RDD的很多操作都需要使用driver中定义的变量时，每次操作，driver都要把变量发送给worker节点一次，如果这个变量中的数据

ゝ一纸荒年。/ 2022年05月19日 04:43/ 0 赞/ 207 阅读

相关 Spark系列--Spark Streaming(八)累加器和广播变量

累加器(Accumulators)和广播变量(Broadcast variables)不能从Spark Streaming的检查点中恢复。如果你启用检查并也使用了累加器和广播变

超、凢脫俗/ 2022年05月18日 08:23/ 0 赞/ 337 阅读

相关 Spark 系列（六）—— 累加器与广播变量

一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对

亦凉/ 2021年10月29日 11:26/ 0 赞/ 303 阅读