MapReduce的優化方法:

MapReduce的優化方法: 從以下6個方面着手考慮: 1、數據輸入 map端數據輸入時主要需要考慮的是小文件(因爲hadoop默認的切片原則是按文件進行的)的問題: 針對小文件的問題我們有如下兩種解決方案: (1)合併小文件:在map讀取數據任務開始前,可以人工的對小文件進行一個合併,合併成一個大文件。 (2)採用CombineTextInputFormat的方式讀取文件。 關於該機制的介紹如
相關文章
相關標籤/搜索