基於Spark案例,對Spark內核源碼在Standalone提交模式的深度剖析 (乾坤大挪移第一層)

自己最近把spark的知識整理了一下,想要比較清晰的解釋下他的初步內核源碼機制。以方便自己後期查閱。文章中涉及的 1、stage劃分算法 2、master資源調度算法 3、task算法(數據優化,數據本地化) 後期我會基於spark2.0版本的源碼進行一次剖析,此次只是初步的,如有未盡事宜。請大家多多批評指正,我願意接受一切意見,只要不是侮辱。啊啊哈。 序言: 基於下面這段初始代碼談執行過程。 d
相關文章
相關標籤/搜索