SparkCore之RDD依賴關係_RDD緩存_RDD CheckPoint

一 RDD依賴關係 1 Lineage RDD只支持粗粒度轉換，即在大量記錄上執行的單個操作。將創建RDD的一系列Lineage（血統）記錄下來，以便恢復丟失的分區。RDD的Lineage會記錄RDD的元數據信息和轉換行爲，當該RDD的部分分區數據丟失時，它可以根據這些信息來重新運算和恢復丟失的數據分區。 （1）讀取一個HDFS文件並將其中內容映射成一個個元組 scala> val wordAnd

>>阅读原文<<