Scala当中parallelize并行化的用法

缺乏、安全感 2021-10-23 14:40 486阅读 0赞

**\[学习笔记\]**

parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。  
例如：val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice，每一个slice启动一个Task来进行处理。  
val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 5) 指定了partition的数量为5,  
makeRDD和parallelize的区别？makeRDD函数有两种实现，第一种实现其实完全和parallelize一致。而第二种实现可以为数据提供位置信息，除此之外，和parallelize是一致的  
 \*/  
    val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 3)  
    val rdd03\_1 = rdd03.map \{ x => x + 1 \}  
    println("map2 用法  is 马克-to-win @ 马克java社区：" + rdd03\_1.collect().mkString(","))  
  
    val rdd04 = sc.parallelize(List(1, 4, 3, 7, 5), 3)  
    val rdd04\_1 = rdd04.filter \{ x => x > 3 \}  
    println("filter2 用法 马克-to-win @ 马克java社区：" + rdd04\_1.collect().mkString(","))  
  
    val rdd05: RDD\[Int\] = sc.makeRDD(Array(1, 4, 3))  
    val rdd06: RDD\[Int\] = sc.makeRDD(Array(7, 5))  
    myunion(rdd05, rdd06)  
    /\*reduce(function)

文章转载自原文：[https://blog.csdn.net/qq\_44596980/article/details/93310016][https_blog.csdn.net_qq_44596980_article_details_93310016]

转载于:https://www.cnblogs.com/haima1949/p/11256267.html

[https_blog.csdn.net_qq_44596980_article_details_93310016]: https://blog.csdn.net/qq_44596980/article/details/93310016

发表评论取消回复

表情：

评论列表（有 0 条评论，486人围观）

还没有评论，来说两句吧...

相关阅读

相关 Parallel.ForEach() 并行循环

在的电脑几乎都是多核的，但在软件中并还没有跟上这个节奏，大多数软件还是采用传统的方式，并没有很好的发挥多核的优势。微软的并行运算平台(Microsoft’s Par...

喜欢ヅ旅行/ 2024年04月18日 21:42/ 0 赞/ 62 阅读

相关 Scala的package用法

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

向右看齐/ 2023年10月07日 01:25/ 0 赞/ 18 阅读

相关 mysql8并行查询_并行查询（Parallel Query）

通过Hint来控制并行查询使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL

电玩女神/ 2022年10月31日 12:15/ 0 赞/ 1160 阅读

相关并行计算—OpenMP—parallel指令

// OpenMP1.cpp : 定义控制台应用程序的入口点。 // include "stdafx.h" include "omp.

女爷i/ 2022年07月14日 23:15/ 0 赞/ 226 阅读

相关并发(Concurrent) 与并行(Parallel) 的区别

刚开始阅读《Akka IN ACTION》这本书，刚开始是对 `Revolution` 这个词翻译成中文是`革命` 感到诧异，因为`革命` 通俗来讲就是 `杀人` 的意思。至

缺乏、安全感/ 2022年05月31日 06:22/ 0 赞/ 438 阅读

相关 ## scala breakable 的用法

scala breakable 的用法 package com.sydney.dream.learnclass import scala.uti

素颜马尾好姑娘i/ 2022年04月15日 00:47/ 0 赞/ 244 阅读

相关 Flink（八）Flink的Parallelism并行度

一、Flink的Parallel Execution ![1620][] 实例 1.Operator Level final StreamEx

淩亂°似流年/ 2022年02月19日 08:15/ 0 赞/ 559 阅读

相关 Spark和Scala当中的collect方法的用法和例子

\[学习笔记\] collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。Spark的collect方法，是Action

╰半夏微凉°/ 2021年10月29日 08:12/ 0 赞/ 302 阅读

相关 Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法

\[学习笔记\] reduceByKey(\_+\_)是reduceByKey((x,y) => x+y)的一个简洁的形式 \/ val rdd08

布满荆棘的人生/ 2021年10月23日 18:08/ 0 赞/ 411 阅读

相关 Scala当中parallelize并行化的用法

\[学习笔记\] parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。

缺乏、安全感/ 2021年10月23日 14:40/ 0 赞/ 487 阅读