spark性能調優

spark性能調優有不少措施，下面說說我用到的一些調優手段。html 1.RDD分片數和executor個數的協調apache 要想充分的使數據並行執行，而且能充分的利用每個executor，則在rdd的個數與executor的個數之間要有一個合適的值。若rdd的個數較多而executor的個數較少，則會致使部分rdd須要等待空閒的executor，這樣不能使全部數據同時並行執行。若rdd較少，而

>>阅读原文<<