菜鳥的Spark 源碼學習之路 -7 Storage管理源碼 -part1 BlockManagerMaster

上一次我們瞭解內存管理中MemoryPool的源碼實現,這一次我們從下往上,學習spark的存儲管理。Storage包結構如下: 本次我們從Block的管理入手開始學習存儲管理。從上面的包中我們可以看出,Block管理主要包含BlockManagerMaster和BlockManager兩個部分。BlockManager和MemoryManager一樣是SparkEnv中的一個組件,如下圖所示:
相關文章
相關標籤/搜索