淺析:SparkShuffle 文件尋址

廢話不多說,先上分析示意圖: 文件尋址: 關於文件尋址中比較重要的兩個對象:mapOutputTracker和BlockMananager。 這兩個對象都是主從對象 m君有兩個身份——m-Master(位於driver)和m-Worker(位於Executer) b君亦然——b-Master(位於driver)和b-Slave(位於Executer)。 b君負責管理磁盤數據: DiskStore—
相關文章
相關標籤/搜索