spark性能调优在项目中使用Kryo序列化

- 日理万妓 2022-05-20 10:44 115阅读 0赞

SparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer");

还可以进一步优化，优化这个序列化格式

默认情况下，Spark内部是使用Java的序列化机制，ObjectOutputStream/ObjectInputStream,对象输入输出流机制，来进行序列化

这种默认序列化机制的好处在于，处理起来比较方便；也不需要我们手动去做什么事情，只是，你在算子里面使用的变量，必须是实现Serializable接口的，可序列化即可。

但是缺点在于，默认的序列化机制的效率不高，序列化的速度比较慢，占用的内存空间还是比较大

可以进行手动进行序列化格式的优化

Spark支持使用Kryo序列化机制，Kryo序列化机制，比默认的Java序列化机制，速度要快，序列化后的数据要更小，大概是Java序列化机制的1/10

所以Kryo序列化优化以后，可以让网络传输的数据变少，在急群中耗费的内存资源大大减少

Kryo序列化机制：一旦启动，后边几个地方都会生效

1. 算子函数中使用到外部变量，需要序列化

2. 持久化RDD时进行序列化，StorageLevel.MEMORY\_ONLY\_SER

当使用了序列化持久化级别时，在将每个RDD partition序列化成一个大的字节数组时，就会使用Kryo进一步优化序列化的效率和性能

3. shuffle

在进行stage间的task的shuffle操作时，节点与节点间的task会互相大量通过网络拉取和传输文件，此时，这些数据既然通过网络传输，也是可能哟啊序列化的，就会使用Kryo序列化机制

每个节点有2个task，那么每个节点就有俩个partition

应用：

首先第一步：在sparkConf中设置一个属性：

set("spark.serializer","org.apache.spark.serializer.KryoSerializer");

Kryo之所以没有被作为默认的序列化类库的原因，主要是因为Kryo要求，如果达到它的最佳性能的话，那么就一定要注册你自定义的类（比如，你的算子函数中使用了外部自定义类型的对象变量，这是，就要求必须注册你的类，否则Kryo达不到最佳性能）

第二步，注册你使用到的，需要通过Kryo序列化的，一些自定义类

registerKryClasses(你自己定义的类new Class\[\]\{\})

发表评论取消回复

表情：

评论列表（有 0 条评论，115人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 性能调优

Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置　　Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范...

古城微笑少年丶/ 2024年04月20日 09:13/ 0 赞/ 86 阅读

相关 spark性能调优

基础调优 1、提交参数可以设置executor数量，每个executor的内存/CPU核数，在资源允许的情况下越大越好，没有什么是加一台服务器解决不了的...

雨点打透心脏的1/2处/ 2024年04月19日 09:57/ 0 赞/ 102 阅读

相关 SPARK调优之序列化

序列化是指把对象转换为字节序列的过程；而反序列化是指把字节序列恢复为对象的过程数据的持久化，通过序列化可以把数据永久地保存到硬盘上

不念不忘少年蓝@/ 2023年08月17日 15:19/ 0 赞/ 97 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 322 阅读

相关在Spark中自定义Kryo序列化输入输出API

　在[Spark][]中内置支持两种系列化格式：（1）、Java serialization；（2）、Kryo serialization。在默认情况下，[Spark][]使用

向右看齐/ 2022年08月04日 15:52/ 0 赞/ 115 阅读

相关 Spark的Kryo序列化注册

Spark的Kryo序列化注册 Spark序列化可以将RDD序列化来减少内存占用。对于优化网络性能极为重要 1、java序列化： spark.seriali

喜欢ヅ旅行/ 2022年07月13日 14:41/ 0 赞/ 199 阅读

相关 Spark性能调优

Spark性能调优 [摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。][Link 1] 性能监控

客官°小女子只卖身不卖艺/ 2022年06月18日 02:08/ 0 赞/ 365 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 429 阅读

相关 spark性能调优在项目中使用Kryo序列化

SparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer"); 还可以进一步优

- 日理万妓/ 2022年05月20日 10:44/ 0 赞/ 116 阅读

相关 spark性能调优 RDD持久化

第一，RDD重构与优化尽量去复用RDD,差不多的RDD，可以抽取成为一个共同的RDD，供后面的RDD计算时，反复使用。第二，公共RDD一定要实现持久化持久化，也就是

朴灿烈づ我的快乐病毒、/ 2022年05月20日 10:18/ 0 赞/ 173 阅读