大數據Hadoop,spark學習

Hadoop 基礎 一個 Hadoop job 通常都是這樣的: 從 HDFS 讀取輸入數據; 在 Map 階段使用用戶定義的 mapper function, 然後把結果寫入磁盤; 在 Reduce 階段,從各個處於 Map 階段的機器中讀取 Map 計算的中間結果,使用用戶定義的 reduce function, 通常最後把結果寫回 HDFS; 很多計算,就比如我們剛纔的例子,都可以拆分成Ma
相關文章
相關標籤/搜索