Spark02：RDD的實現

公衆號：數據挖掘與機器學習筆記 1.作業調度 在執行轉換操作的RDD時，調度器會根據RDD的「血統」來構建若干由stage組成的有向無環圖(DAG),每個stage階段包含若干個連續窄依賴轉換。調度器按照DAG順序進行計算得到最終的RDD。 調度器向各節點分配任務採用延時調度機制並根據數據存儲位置(數據本地性)來確定。如果一個任務需要處理的某個分區剛好存儲在相應節點的內存中，則該任務會分配給該節點

>>阅读原文<<