Spark 核心組件解析之BlockManager數據存儲與管理機制

BlockManager是整個Spark底層負責數據存儲與管理的一個組件,Driver和Executor的所有數據都由對應的BlockManager進行管理。 Driver上有BlockManagerMaster,負責對各個節點上的BlockManager內部管理的數據的元數據進行維護,比如block的增刪改等操作,都會在這裏維護好元數據的變更。 每個節點都有一個BlockManager,每個Bl
相關文章
相關標籤/搜索