10.10 spark-shuffle,尋址

HashShuffle 普通機制： map task的計算結果，會根據分區器（default:HashPartitioner）來決定寫入到哪一個磁盤小文件裏面去 reduce task會去Map端拉去相應的小文件 產生磁盤小文件的個數公式：M(map task的個數)*R（reduce task的個數） 磁盤小文件過多會有什麼問題 1，在shuffle wirte過程中會產生很多寫的對象 2，在s

>>阅读原文<<