磁盤塊管理器DiskBlockManager

DiskBlockManager管理和維護了邏輯上的Block和存儲在Disk上的物理的Block的映射。默認狀況下,一個邏輯的Block會根據它的BlockId生成的名字映射到一個物理上的文件。可是,也能夠使用mapBlockToFileSegment方法映射到一個文件的一段區域。 這些物理文件會被hash到由spark.local.dir(或者經過SPARK_LOCAL_DIRS來設置)上的不
相關文章
相關標籤/搜索