hadoop 核心注意事項 小總：maptask並行機制 reduce並行機制 task並行 數據傾斜 shuffle

標題hadoop 核心注意事項 小總 一 .maptask的並行機制（邏輯切片） maptask 的數量取決於 一般取決於 切片的數量。有多少切片就有多少maptask。 maptask 的數量主要取決於三個方面： 1.文件的大小及數量。 2.blocksize的大小 3.以及splip（塊） size 大小 時間：是在mr客戶端提交程序到yarn之前。 地點：mr程序客戶端（main方法） 參與

>>阅读原文<<