spark並行度和partion聯繫

一、問題： 1、怎樣提高並行度？ 幾種方式：(1)reduce時，輸入參數(int)   (2)partitionBy()輸入分區數  (3)SparkContext.textFile(path,num) 2、什麼情況下需要提高並行度？ (1).partition的個數是split size決定的，spark的底層還是用的hadoop的fileformat，當你制定了一個可以切分的format，他

>>阅读原文<<