Spark架構及運算邏輯

Spark的總體流程爲：Client提交應用，Master找到一個Worker啓動Driver，Driver向Master或者資源管理器申請資源，以後將應用轉化爲RDD Graph，再由DAGScheduler將RDD Graph轉化爲Stage的有向無環圖提交給TaskScheduler，由TaskScheduler提交任務給Executor執行。在任務執行過程當中，其餘組件協同工做，確保整個應

>>阅读原文<<