Spark中RDD的運行機制

Spark 的核心是建立在統一的抽象 RDD 之上，基於 RDD 的轉換和行動操作使得 Spark 的各個組件可以無縫進行集成，從而在同一個應用程序中完成大數據計算任務。 在實際應用中，存在許多迭代式算法和交互式數據挖掘工具，這些應用場景的共同之處在於不同計算階段之間會重用中間結果，即一個階段的輸出結果會作爲下一個階段的輸入。而 Hadoop 中的 MapReduce 框架都是把中間結果寫入到 H

>>阅读原文<<