Spark--RDD編程模型

彈性分佈式數據集（RDD）編程模型 1)        RDD設計目標 RDD用於支持在並行計算時能夠高效地利用中間結果，支持更簡單的編程模型，同時也具有像MapReduce等並行計算框架的高容錯性、能夠高效地進行調度及可擴展性。RDD的容錯通過記錄RDD轉換操作的lineage關係來進行，lineage記錄了RDD的家族關係，當出現錯誤的時候，直接通過lineage進行恢復。 2)       

>>阅读原文<<