Spark2.2-persist checkpoint lineage解析

源碼版本: 2.2 若有錯誤請指正 1、背景     Spark中每個RDD都記錄它的血緣lineage，根據lineage，咱們能夠實現容錯機制和數據重用。     相比其餘系統的細顆粒度的內存數據更新級別的備份或者LOG機制，RDD的Lineage記錄的是粗顆粒度的特定數據Transformation操做（如filter、map、join等）行爲。當這個RDD的部分分區數據丟失時，它能夠經過L

>>阅读原文<<