Spark系列--SparkCore(五)RDD容錯性之cache、persist、checkpoint

1、RDD容錯性 理解RDD的容錯性：php RDD能夠經過血統機制來進行RDD的恢復。在RDD進行轉換和動做的時候，會造成RDD的Lineage依賴鏈，當某一個RDD失效的時候，能夠經過從新計算上游的RDD來從新生成丟失的RDD數據。web 可是在spark計算裏面,假如計算流程DAG特別長,服務器須要將整個DAG計算完成得出結果,可是若是在這很長的計算流程中忽然中間算出的數據丟失了,spark

>>阅读原文<<