Spark性能优化第三季

短命女 2022-05-15 07:57 268阅读 0赞

# Spark性能优化第三季 #

一、Spark程序数据结构的优化   
1、数据结构优化   
2、内存诊断   
3、Persist和Checkpoint   
1、Java的对象：对象头是16个字节（例如指向对象的指针等元数据信息），如果对象中只有一个int的property，则此时会占据20个字节，也就是说对象的元数据占用了大部分的空间，所以在封装数据的时候尽量不要使用对象。例如使用JSON格式来封装数据。   
2、Java中基本数据类型会自动封箱，例如int会自动变成Integer，这会额外增加对象头的空间占用。   
3、Java的String在实际占用内存方面要额外使用40个字节（String的内部使用char\[\]来保存字符序列），另外需要注意的是String中的字符是2个字节（UTF-16），如果内部有5个字符的话，实际上会占用50个字节；   
4、Java中的集合List、HashMap等等其内部一般使用链表来实现，具体的每个数据使用Entry等，这些也非常消耗内存；   
5、优先使用原生数组，尽可能不要直接使用ArrayList、HashMap、LinkedList等数据结构，例如List list = new ArrayList()需要考虑替换为int\[\] array = new int\[\];   
6、优先使用String（推荐使用JSON），而不是采用HashMap、List等来封装数据，例如Map

二：spark内存消耗诊断

1.JVM自带众多内存消耗诊断的工具例如jMap, jConsole等， 第三方IBM JVM Profile Tools等；

2.在开发，测试，生产环境下用的最对的是日志?! Driver产生的日志！！！最简单也是最有效的方式就是调用RDD.cache,当进行cache操作的时候，Driver上BlockManagerMaster会记录该信息并写进日志！！！

三：persist和checkpoint

1. 当反复使用某个（些）RDD的时候强烈建议使用persist来对数据进行缓存（MEMORY\_AND\_DISK）；

2.如果某个步骤的RDD计算特别耗时或者经历了很多步骤的计算，如果数据丢失则重新计算的代价特别大，此时考虑使用checkpoint,因为checkpoint是把数据写入HDFS,天然具有高可靠性；