Spark的數據容錯機制

爲什麼80%的碼農都做不了架構師？>>>    一般而言，分佈式數據集的容錯性具備兩種方式：數據檢查點和記錄數據的更新 checkpoint機制——數據檢查點 記錄更新機制（在Saprk中對應Lineage機制）     checkpoint機制 checkpoint的意思是建立檢查點，類似於快照，傳統的Spark任務計算過程中，DAG特別長，集羣需要將整個DAG計算完成得到結果，但是如果在這個漫

>>阅读原文<<