Spark 核心組件解析之BlockManager數據存儲與管理機制

BlockManager是整個Spark底層負責數據存儲與管理的一個組件，Driver和Executor的所有數據都由對應的BlockManager進行管理。 Driver上有BlockManagerMaster，負責對各個節點上的BlockManager內部管理的數據的元數據進行維護，比如block的增刪改等操作，都會在這裏維護好元數據的變更。 每個節點都有一個BlockManager，每個Bl

>>阅读原文<<