Spark程序的端到端運行架構解讀

Spark任務提供多層分解的概念，Spark組件將用戶的應用程序分解爲內部執行任務並提供執行容器，資源管理爲spark組件提供資源管理和調度。 Spark任務： 應用程序：由一個driver program和多個job構成； job：由多個stage組成； stage：對應一個taskset， taskset：對應一組關聯的相互之間沒有shuffle依賴關係的task組成。 task：任務最小的工

>>阅读原文<<