Spark源碼分析之一:Job提交運行總流程概述

        Spark是一個基於內存的分佈式計算框架,運行在其上的應用程序,按照Action被劃分爲一個個Job,而Job提交運行的總流程,大體分爲兩個階段:數據結構         一、Stage劃分與提交框架         (1)Job按照RDD之間的依賴關係是否爲寬依賴,由DAGScheduler劃分爲一個個Stage,並將每一個Stage提交給TaskScheduler;分佈式  
相關文章
相關標籤/搜索