spark troubleeshooting之错误的持久化方式以及checkpoint的使用

比眉伴天荒 2022-05-19 04:13 100阅读 0赞

userRDD，想要对这个RDD做一个cache,希望能够在后面多次使用这个RDD的时候，不用反复重新计算RDD;可以直接使用通过各个节点上的executor的BlockaManager管理内存/磁盘的数据，避免重新反复计算RDD.

userRDD.cache()

userRDD.count()

userRDD.take()

上面这种方式，不要说不会生效了，实际上是不会报错的，会报一大堆file not found这种错误

正确的持久化操作方式：

usersRDD = userRDD.cache() 这样可以

val cacheUsersRDD = userRDD.cache()  这样也可以

之后再去使用usersRDD，或者cacheUsersRDD就可以了

可能出现一些情况，就是对持久化的rdd进行某些操作的时候，可能会发现RDD的某个partition找不到了

对消失的partition重新计算，计算完以后在缓存和使用

有些时候，计算某个RDD,可能是及其耗时的，可能RDD之前有大量的父RDD,那么如果你要重新计算一个partition，那么可能重新计算之前所有的父RDD对应的partition.

这种情况下，就可以选择对这个RDD进行checkpoint,以防万一。进行checkpoint,就是说，会将RDD的数据，持久化一份到容错的文件系统上（比如hdfs）

在对这个RDD进行计算的时候，如果发现它的缓存数据不见了，优先就是先找有没有checkpoint数据（到hdfs上面去找），如果有的话，就使用checkpoint数据了，不至于说是去重新计算。

checkpoint,其实可以作为cache的一个备胎，如果cache失效了，checkpoint就可以上来使用了

checkpoint有利有弊，利在于，提高了spark作业的可靠性，一旦发生问题，还是很可靠的，不用重新计算大量的rdd,但是弊在于，进行checkpoint操作的时候，也就是将rdd数据写入hdfs中的时候，还是会消耗性能的，

checkpoin就是用性能换可靠性

checkpoint原理：

1. 在代码中，用sparkContext，设置一个checkPoint目录，可以是一个容错文件系统的目录，比如hdfs;

2. 在代码中，对需要进行checkpoint的rdd,执行RDD.checkpoint();

3. RDDcheckPointData(spark内部的API) , 接管你的RDD,会标记为marked for checkpoint准备进行checkpoint操作

4. 你的job运行完后，会调用一个finalRDD.doCheckpoint（）,会顺着rdd lineage，回溯扫描，发现有标记为待checkpoint 的 rdd,就会进行二次标记，inProgressCheckpoint,正在接收checkpoint操作。

5. job执行完之后，就会启动一个内部新的job,去将标记为inProgressCheckpoint的数据，都写入hdfs文件中，（备注：如果rdd之前cache过，会直接从缓存中获取数据，写入hdfs中；如果没有cache过，那么就会重新计算一遍rdd，在checkpoint）

6.将checkpoint过的rdd之前的依赖rdd,改成一个CheckPointRDD\*，强制改变rdd的lineage，后面rdd的cache数据获取失败，那么就会通过它上游的CheckPointRDD,去容错的文件系统，比如hdfs中，获取checkpoint的数据

checkpoint的使用

1. sparkContext，设置checkpoint

sc.checkpointFile("")hdfs的文件目录

2.RDD进行checkpoint工作

userRDD.checkPoint();

还没有评论，来说两句吧...