hadoop 優化方式

hadoop 優化： MapReduce： Map： 切片優化：調整map的數量 當集羣的資源（cup，內存）比較充足。可以適當將切片大小，調小。 這個時候會增加map的數量，加快讀取處理速度。 當集羣的資源（cup，內存）比較緊缺，可以適當將切片大小，調大。 這個時候會減少map的數量，可以一定程度提高效率。 數據本地化，任務本地化處理：可以適當增加副本數（前提是磁盤空間充足） 調整Reduce

>>阅读原文<<