spark的使用

旧城等待， 2022-06-06 07:25 137阅读 0赞

一、基础概念：  
RDD对象：  
spark的核心对象，  
文件等加载均转化为RDD对象（SparkContext.textFile(input\_file) ）  
RDD对象属性、方法：  
map、reduce、flatmap、reducebykey  
二、使用  
1.声明：  
from pyspark import SparkContext, SparkConf \#pyspark ,python-spark支持

appName = “程序名” \#也可以用于web上监控  
master = “spark://服务器名:端口” \#服务器名可以使用ip  
conf = SparkConf().setAppName(appName).setMaster(master)  
sc = SparkContext(conf=conf)

说明：  
val sc = new SparkContext(master, appName, \[sparkHome\], \[jars\])  
参数master指明集群的地址，是字符串，master可以是”local”–在本地单机运行，也可以是Spark或者Mesos集群的URL。  
参数appName是Spark应用的名称，会在集群的web界面里显示出来。  
参数sparkHome是spark的安装目录，注意，集群内所有节点的Spark必须安装在同样的目录下。  
参数jars是打包后的Spark应用，是本地目录，这些Jar包会被复制发送到集群内的所有节点执行。

2.文件加载及处理：  
a.处理：  
“”“odflow.py”“”  
from pyspark import SparkContext

fileDir = “/TripChain3\_Demo.txt”

# sc = SparkContext(“local”, “ODFlow”) #

sc = SparkContext(“spark://ITS-Hadoop10:7077”, “ODFlow”)  
lines = sc.textFile(fileDir)

# python不能直接写多行的lambda表达式，所以要封装在函数中 #

def toKV(line):  
arr = line.split(“,”)  
t = arr\[5\].split(” “)\[1\].split(“:”)  
return (t\[0\]+t\[1\]+”,”+arr\[11\]+”,”+arr\[18\],1)

r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b)

# 排序并且存入一个（repartition）文件中 #

r1.sortByKey(False).saveAsTextFile(“/pythontest/output”)

b.发布  
spark-submit \\  
–master spark://ITS-Hadoop10:7077 \\  
odflow.py

发表评论取消回复

表情：

评论列表（有 0 条评论，137人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringBoot 使用 Spark

文章目录读取 txt 文件读取 csv 文件读取 MySQL 数据库表读取 Json 文件中文输出乱码前提：可以参考文章 [

秒速五厘米/ 2024年03月27日 16:29/ 0 赞/ 56 阅读

相关 spark学习(9)-spark的安装与简单使用

spark和mapreduce差不多，都是一种计算引擎，spark相对于MapReduce来说，他的区别是，MapReduce会把计算结果放在磁盘，spark把计算结果既放

古城微笑少年丶/ 2023年06月03日 14:59/ 0 赞/ 46 阅读

相关 Spark的使用

1、执行Spark程序 spark-submit --class org.apache.spark.examples.SparkPi --master spark

野性酷女/ 2023年01月01日 03:45/ 0 赞/ 87 阅读

相关 Spark：DataFrame使用

Spark SQL Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是 `DataFrame`。 `DataFra

左手的ㄟ右手/ 2022年09月10日 14:14/ 0 赞/ 177 阅读

相关 spark的使用

一、基础概念： RDD对象： spark的核心对象，文件等加载均转化为RDD对象（SparkContext.textFile(input\_file) ） R

旧城等待，/ 2022年06月06日 07:25/ 0 赞/ 138 阅读

相关 [Spark] 使用IDEA构建Spark应用程序

环境：本地：win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件，机器要求可以联网（需要下载各种依赖

女爷i/ 2022年05月20日 06:06/ 0 赞/ 184 阅读

相关 [Spark] spark-shell 命令使用

环境：操作系统：CentOS7.3 Java: jdk1.8.0\_45 Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1.

心已赠人/ 2022年05月20日 04:42/ 0 赞/ 453 阅读

相关 [Spark] 使用IDEA构建Spark应用程序

环境：win7 + IntelliJ IDEA 2018.1.2 + scala插件，要求环境能联网（需要联网下载spark及scala的jar包）。 1. ID

分手后的思念是犯贱/ 2022年05月20日 04:30/ 0 赞/ 226 阅读

相关 spark中SQLContext的使用

SQLContext的使用 Spark1.x中Spark SQL的入口点：SQLContext 下面是摘自官网的介绍 The entry point int

川长思鸟来/ 2022年03月08日 19:10/ 0 赞/ 325 阅读

相关 Spark Shell 的使用

前言前一章中我们介绍了Spark的`Standalone`模式的安装. 本章我们介绍下Spark Shell操作窗口的基本的安装. 基本启动与使用基本算

桃扇骨/ 2022年02月26日 16:46/ 0 赞/ 729 阅读