《MapReduce 4》--自定義分區、shuffle技術、環形緩衝區(MapOutputBuffer源碼解析)、Maptask源碼解析

如何自定義分區:     原理:int getPartition(LongWritable key, Text value, int numPartitions)                此方法的返回值爲分區的索引(分區就是由索引做爲惟一標識符),                該方法肯定當前key/value屬於哪一個索引對應的分區。                因爲 if (parti
相關文章
相關標籤/搜索