Hadoop系統中的一些概念

結構圖 MapReduce Hadoop Map/Reduce是一個使用簡易的軟件框架,基於它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集羣上,並以一種可靠容錯的方式並行處理上T級別的數據集。 一個Map/Reduce 作業(job) 通常會把輸入的數據集切分爲若干獨立的數據塊,由 map任務(task)以完全並行的方式處理它們。框架會對map的輸出先進行排序, 然後把結果輸入給redu
相關文章
相關標籤/搜索