Spark Shuffle服務和客戶端

BlockTransferService Spark是分佈式部署的，每一個Task最終都運行在不一樣的機器節點上。map任務的輸出結果直接存儲到map任務所在的機器的存儲體系中，reduce任務極可能不在同一臺機器上運行，因此須要遠程下載map任務的中間輸出。ShuffleClient不只將shuffle文件上傳到其餘Executor或者下載到本地的客戶端，也提供了能夠被其餘Executor訪問的

>>阅读原文<<