spark內核架構深度剖析（standalone模式下）

深入理解spark程序運作的整個流程，對我們編寫高質量的spark工程，以及排查程序運行過程中遇到的錯誤都非常重要。 spark資源調度器包括standalone模式自帶、yarn、mesos等，理解spark程序從提交到運行結束整個運行的流程，個人認爲從standalone模式入手最爲清晰和經典。 下面畫圖來說一下整個過程。 整個過程中涉及幾個非常重要的算法：stage的劃分算法、task的分配

>>阅读原文<<