理解Spark-RDD共享變量 --- Shared Variables

通常，當在遠程集羣節點上執行傳遞給Spark操作（例如map或reduce）的函數時，它將在函數中使用的所有變量的單獨副本上工作。  這些變量將複製到每臺計算機，並且遠程計算機上的變量的更新不會傳播回驅動程序。 支持跨任務的通用，讀寫共享變量效率低下。  但是，Spark確實爲兩種常見的使用模式提供了兩種有限類型的共享變量：廣播變量和累加器。   1.廣播變量-Broadcast Variable

>>阅读原文<<