淺談MapReduce核心之shuffle

Hadoop擁有三大核心組件，HDFS作爲底層的分佈式文件系統，MapReduce作爲計算框架，yarn作爲資源調度管理器。 對於開發人員來說，理解MapReduce是很重要的。 在WordCount程序中，map生成的結果是一個個的元組，類似於（hello，1），非常非常多的元組，由context寫入到hdfs中，而後續的Reduce階段，實際上reduce方法接收的參數類似於這種，（hello

>>阅读原文<<