Spark -12：spark checkpoint机制

快来打我* 2022-07-12 17:58 191阅读 0赞

一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。  
面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。  
因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(Lineage)”容错）记录下来，以便恢复丢失的分区。  
Lineage本质上很类似于数据库中的重做日志（Redo Log），只不过这个重做日志粒度很大，是对全局数据做同样的重做进而恢复数据。

checkpoint作为容错的设计，基本思路是把当前运行的状态，保存在容错的存储系统中(一般是hdfs)。对于容错的处理，肯定是围绕作业紧密相关的，保存内容包括元数据和数据两部分。

**两种数据可以chekpoint：**

（1）Metadata checkpointing  
将流式计算的信息保存到具备容错性的存储上如HDFS，Metadata Checkpointing适用于当streaming应用程序Driver所在的节点出错时能够恢复，元数据包括：  
Configuration（配置信息） - 创建streaming应用程序的配置信息  
DStream operations - 在streaming应用程序中定义的DStreaming操作  
Incomplete batches - 在列队中没有处理完的作业

（2）Data checkpointing  
将生成的RDD保存到外部可靠的存储当中，对于一些数据跨度为多个bactch的有状态tranformation操作来说，checkpoint非常有必要，因为在这些transformation操作生成的RDD对前一RDD有依赖，随着时间的增加，依赖链可能会非常长，checkpoint机制能够切断依赖链，将中间的RDD周期性地checkpoint到可靠存储当中，从而在出错时可以直接从checkpoint点恢复。

**Checkpoint的生成**

生成是在JobGenerator中触发。

在每次生成Job后，都会触发checkpoint的写入事件。

**Checkpointing具体方法：**

//checkpointDirectory为checkpoint文件保存目录  
streamingContext.checkpoint(checkpointDirectory)