Spark運行機制之DAG原理

學習過程中，看過很多講作業提交和任務調度的原理，包括中英文版本，知道個大概，但有些細的東西總感覺不清晰， 比如drvier程序具體是什麼？ 一個application有多個job，每個action動作會觸發一個job，爲什麼？ 一個job內有多個stage，如何劃分？stage有不同類型麼？ 一個stage內的task數量如何確定？ task具體是什麼？ 什麼是shuffle map任務？shuf

>>阅读原文<<