spark 自定義partitioner分區 java版

2019獨角獸企業重金招聘Python工程師標準>>> java 在遍歷spark dataset的時候，一般會使用 forpartition 在每一個分區內進行遍歷，而在默認分區（由生成dataset時的分區決定）可能因數據分佈緣由致使datasetc處理時的數據傾斜，形成整個dataset處理緩慢，發揮不了spark多executor（jvm 進程）多partition（線程）的並行處理能力，

>>阅读原文<<