雲架構師的進階之路(十)

基於Hadoop和Spark瞭解大數據平臺 對於數據架構的部分,其實經歷了三個過程,分別是Hadoop Map-Reduce 1.0,基於Yarn的Map-Reduce 2.0, 還有Spark。 如下圖是Map-Reduce 1.0的過程。 Map-Reduce的過程將一個大任務,split稱爲多個Map Task,分散到多臺機器並行處理,將處理的結果保存到本地,第二個階段,Reduce Tas
相關文章
相關標籤/搜索