spark中tasks數量的設置

spark中有partition的概念，每一個partition都會對應一個task，task越多，在處理大規模數據的時候，就會越有效率。不過task並非越多越好，若是平時測試，或者數據量沒有那麼大，則沒有必要task數量太多。 個人第一個query程序，有200個task，我改爲了50個，節約了1s左右。 參數能夠經過spark_home/conf/spark-default.conf配置文件設

>>阅读原文<<