Spark-BlockManager

簡單說明 BlockManager是管理整個Spark運行時數據的讀寫,包含數據存儲本身,在數據存儲的基礎之上進行數據讀寫。由於Spark是分佈式的,所有BlockManager也是分佈式的,BlockManager本身相對而言是一個比較大的模塊,Spark中有非常多的模塊:調度模塊、資源管理模塊等等。BlockManager是另外一個非常重要的模塊,BlockManager本身源碼量非常大。本篇
相關文章
相關標籤/搜索
本站公眾號
   歡迎關注本站公眾號,獲取更多信息