應用MapReduce製作壓測利器

 引言   衆所周知,MapReduce編程框架(以下簡稱MR)一直是大併發運算以及海量數據讀寫應用設計的利器。在MR編程體系下,一個job通常會把輸入的數據集切分爲若干塊,由map task以完全並行的方式處理消化這些數據塊。框架會對map的輸出先進行排序,然後把結果作爲輸入提交給reduce任務。通常作業的輸入和輸出都會被存儲在文件系統中。整個框架負責任務的調度和監控,以及重新執行已經失敗的任
相關文章
相關標籤/搜索