Spark工作機制

內部運行機制 任務分配、IO模塊、通信控制模塊、容錯模塊、Shuffle模塊。採用的算法：FIFO、FIAR算法，通信採用AKKA框架 1、spark執行機制： spark應用提交後經歷了一系列轉換最後成爲Task在每個節點上執行。 大體的執行流程：RDD的Actions操作除非Job的提交，提交到spark中的job生成RDD DAG，由DAG Scheduler轉換爲stage中的task集合

>>阅读原文<<