Spark內核分析之BlockManager工作原理介紹

   在DAGShceduler中有一個BlockManagerMaster對象,該對象的工作就是負責管理全局所有BlockManager的元數據,當集羣中有BlockManager註冊完成的時候,其會向BlockManagerMaster發送自己元數據信息;BlockManagerMaster會爲BlockManager創建一個屬於這個BlockManager的BlockManagerInfo,
相關文章
相關標籤/搜索