大數據實訓02--MapReduce原理與開發

思考小問題 統計一個100G大小的文件進行詞頻的解決方法 方法一：如果小文件可以編寫一個小程序，進行遍歷，統計詞頻。 方法二：編寫一個多線程程序，實現併發，比上一個方法更加有效，但是要防止多個線程重複提交（同步互斥問題）。 方法三：程序交給多臺服務器去完成，痛點：需要大量人工參與。 方法四：通過MapReduce框架自動化完成 MapReduce 特點：易於編程（有兩個接口ma--大任務分成小任務

>>阅读原文<<