Hadoop性能優化點小結

最近一段時間看了許多Hadoop性能優化相關的資料，因而花了點時間整理了一下，但願給正在苦於Hadoop集羣性能問題的博友們一點建議吧。node 一、Hadoop在存儲有輸入數據的節點上運行map任務，能夠得到最佳性能，稱爲「數據本地化優化「，因此通常會設置最大分片的大小應該與塊大小相同，若是分片跨越2個塊的大小，必然要通過網絡傳輸到不一樣的節點上讀取數據。緩存 二、適當的時候使用Combine函

>>阅读原文<<