MapReduce-分佈式離線計算框架

MapReduce Hadoop MapReduce是一個用於輕鬆編寫程序的軟件框架,這些程序以可靠的,容錯的方式運行於大型集羣中(數千個節點)的商用軟件上並行處理大量數據(TB級別數據集)。 MapReduce作業通常是將輸入的數據集劃分爲獨立的塊,這些塊完全由Map Task以完全並行的方式處理。框架將Map的輸出進行排序,排序後的結果將被放入Reduce Task。通常,作業的輸入輸出結果都
相關文章
相關標籤/搜索