Spark中Blockmanager相關代碼解析

前一段時間看了如何劃分stage以及如何提交Job, 最後把結果返回到Driver端的過程, 中間也涉及到了經過blockManager來獲取Data等過程。 這兩天花了點時間看了一下blockmanager是如何工做的, 在這裏記錄一下。 看了一下源代碼, 這裏有幾個主要的對象: 1.BlockManager 2.BlockManagerMaster 3.BlockManagerMasterEn
相關文章
相關標籤/搜索