spark任務調度和資源框架

spark的任務調度 Driver會運行客戶端main方法中的代碼，代碼就會構建SparkContext對象，在構建SparkContext對象中，會創建DAGScheduler和TaskScheduler，然後按照rdd一系列的操作生成DAG有向無環圖。最後把DAG有向無環圖提交給DAGScheduler DAGScheduler拿到DAG有向無環圖後，按照寬依賴進行stage的劃分，這個時候會

>>阅读原文<<