重載getSplits自定義hbase mapreduce時map數量

mapreduce任務map數量由InputFomat類的getSplits決定,例如FileInputFormat,則實現是經過輸入源文件數決定map數量;mapreduce同時最多運行的任務數由yarn配置決定,爲cpu vcores*節點數。它們兩個一塊兒影響着任務同時運行的容器數量(Running Containers)。java   採用TableMapReduceUtil實現的從hba
相關文章
相關標籤/搜索