Spark共享變量——廣播變量和累加器

什麼是共享變量 一般狀況下，當向Spark操做(如map,reduce)傳遞一個函數時，它會在一個遠程集羣節點上執行，它會使用函數中全部變量的副本。這些變量被複制到全部的機器上，遠程機器上並無被更新的變量向驅動程序回傳。在任務之間使用通用的，支持讀寫的共享變量是低效的。因此Spark提供了兩種有限類型的共享變量，廣播變量和累加器。java 廣播變量 廣播變量原理圖：程序員 廣播變量的運用：算法 v

>>阅读原文<<