将函数传递给Spark

落日映苍穹つ 2023-06-11 06:21 9阅读 0赞

### Spark中的函数传递 ###

**Spark的API在很大程度上依赖于在驱动程序中传递函数以在群集上运行。有两种推荐的方法可以做到这一点：**

*  匿名函数语法，可用于简短的代码段。 关于匿名函数，可以参考[我的这篇文章][Link 1]或[scala官方文档][scala]
 *  全局单例对象中的静态方法。例如，您可以如下定义object MyFunctions并传递MyFunctions.func1：

object MyFunctions { 
      def func1(s: String): String = {  ... }
    }
    
    myRdd.map(MyFunctions.func1)

请注意，虽然也可以在类实例中传递对方法的引用（与单例对象相对），但这需要将包含该类的对象与方法一起发送。例如，考虑：

class MyClass { 
      def func1(s: String): String = {  ... }
      def doStuff(rdd: RDD[String]): RDD[String] = {  rdd.map(func1) }
    }

在这里，如果我们创建一个新的`MyClass`实例，并调用`doStuff`就可以了，map里面有引用的 `func1`方法是的`MyClass`实例，所以需要发送到群集的整个对象。它类似于写作`rdd.map(x => this.func1(x))`

以类似的方式，访问外部对象的字段将引用整个对象

class MyClass { 
      val field = "Hello"
      def doStuff(rdd: RDD[String]): RDD[String] = {  rdd.map(x => field + x) }
    }

等同于写作`rdd.map(x => this.field + x)`，它引用了所有内容this。为避免此问题，最简单的方法是将其复制field到局部变量中，而不是从外部访问它

def doStuff(rdd: RDD[String]): RDD[String] = { 
      val field_ = this.field
      rdd.map(x => field_ + x)
    }

本文参考[spark官网][spark]

[Link 1]: https://blog.csdn.net/qq_35885488/article/details/102617622
[scala]: https://docs.scala-lang.org/tour/higher-order-functions.html
[spark]: http://spark.apache.org/docs/latest/rdd-programming-guide.html#passing-functions-to-spark

将函数传递给Spark

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 C语言 - 数组作为参数传递给函数（按值传递和按引用传递）

相关 javascript中将函数传递给另一个函数

相关将函数传递给Spark

相关 c++ 函数之间传递向量_将向量传递给C ++中的函数

相关 php 使用钩子函数,php – 如何将变量传递给动作钩子函数？

相关 JAVA: 可以给可变参数函数传递数组

相关如何将报表中的参数传递给VB

相关 C++ 传递指针给函数

相关将对象作为参数传递给方法

相关 C# 传递数组给函数