Spark 共享變量：廣播變量、累加器

一般,以下操做rdd.transformation(func)，func所須要的外部變量都會以副本的形式從Driver端被髮送到每一個Executor的每一個Task，當Task數目有成百上千個時，這種方式就很是低效;同時每一個Task中變量的更新是在本地，也不會被傳回Driver端。爲此，Spark提供了兩種類型的共享變量：廣播變量、累加器。java 廣播變量 廣播變量，Execoutor中的只

>>阅读原文<<