spark 源碼分析（spark 觸發Action 之後操作）

本例以wc 爲例子 （akka 爲rpc 通訊框架） 1、我們進入savaAsTextFile 這個 action算子 2、上面算子通過多層封裝（其中包換數據 轉換和創建一些讀寫流） 最後通過 runjob 方法的入口開始提交任務（其中包含DAG 任務的劃分流程等將DAG 切分成多個stage 然後將stage 切分成不同task 任務最後提交任務） 經過一系列的變換操作（通常增加一些提交任務邏輯

>>阅读原文<<