Spark內核解析之七:核心組件解析

BlockManager數據存儲與管理機制 BlockManager是整個Spark底層負責數據存儲與管理的一個組件,Driver和Executor的所有數據都由對應的BlockManager進行管理。 Driver上有BlockManagerMaster,負責對各個節點上的BlockManager內部管理的數據的元數據進行維護,比如block的增刪改等操作,都會在這裏維護好元數據的變更。 每個節
相關文章
相關標籤/搜索