spark學習-25-Spark廣播變量與共享變量（1）

1，概念 1.1 廣播變量： 廣播變量容許程序員將一個只讀的變量緩存在每臺機器上，而不用在任務之間傳遞變量。廣播變量可被用於有效地給每一個節點一個大輸入數據集的副本。Spark還嘗試使用高效地廣播算法來分發變量，進而減小通訊的開銷。 Spark的動做經過一系列的步驟執行，這些步驟由分佈式的洗牌操做分開。Spark自動地廣播每一個步驟每一個任務須要的通用數據。這些廣播數據被序列化地緩存，在運行任務以

>>阅读原文<<