Spark學習筆記

Map-Reduce 我認爲上圖表明着MapReduce不單單包括Map和Reduce兩個步驟這麼簡單，還有兩個隱含步驟沒有明確，所有步驟包括：切片、轉換、聚合、疊加，按照實際的運算場景上述步驟能夠簡化。 具體的流程爲：html 原始數據 -) [切片] -> 數據對單元集合(列表） (k1,v1) 數據對單元集合 (k1,v1) -> [Map轉換] -) 數據對單元集合 (k2,v2) 數據對

>>阅读原文<<