源碼跟蹤executor如何寫數據到blockmanager, 以及如何從blockmanager讀數據

以前看了Job怎麼submit 以及最後run的, 而後也看了blockmanager是怎麼工做的, 那麼接下來就是要看spark是如何從blockManager中讀寫數據的。 首先每一個計算都是在對應機器的executor的task上面運行的, 那麼計算完後也是從executor端開始寫入的, 根據以前文章的解析, 咱們知道最後Task是在executor的TaskRunner中執行的, 其中在
相關文章
相關標籤/搜索