Hadoop中MapReduce的原理

Hadoop中的MapReduce是一個使用簡易的軟件框架,基於它寫出來的應用程序能夠運行在由上千個商用機器組成的大型集羣上,並以一種可靠容錯的式並 行處理上T級別的數據集。 一個MapReduce作業(job)通常會把輸入的數據集切分爲若干獨立的數據塊,由map任務(task)以完全並行的方式處理它們。框架會對map的輸出先進行排序,然後把結果輸入給reduce任務。通常作業的輸入和輸出都會被存
相關文章
相關標籤/搜索