Spark提交任務SparkSubmit執行流程

很多人在使用Spark做計算時,都會對SparkSubmit Job之後執行流程比較模糊,尤其在Spark2.0之後正式使用Netty作爲RPC通訊框架,在源碼層對許多功能進行了抽象,這對一些Spark初學者來說,閱讀源碼是一件比較困難的事。不過筆者認爲,雖然Spark2.0之後框架對功能層面做了很多的抽象工作,但其執行流程還沒有什麼改變。雖然筆者在工作已經使用了Spark2.2.1作爲生產發行版
相關文章
相關標籤/搜索