Hadoop系列之三：函數式編程語言和MapReduce

1、MapReduce和大數據問題   海量數據並行處理的核心思想無非是將一個較大的問題進行「分割包圍、逐個殲滅」。然而其難點和關鍵點在於如何將一個大的問題分分割成多個可以分別在不同的CPU上或不同的主機上進行處理的獨立小問題，而且這些獨立進行處理的小問題所產生的中間結果又該如何合併成最終結果並予以輸出。因此，看似簡單的化整爲零的處理思想卻不得不面臨如下的難題： (1) 如何將大問題分割爲小任務？

>>阅读原文<<