Spark _18 _Shuffle文件尋址

Shuffle文件尋址 MapOutputTracker       MapOutputTracker是Spark架構中的一個模塊,是一個主從架構。管理磁盤小文件的地址。 MapOutputTrackerMaster是主對象,存在於Driver中。 MapOutputTrackerWorker是從對象,存在於Excutor中。 BlockManager       BlockManager塊管理者
相關文章
相關標籤/搜索