Spark的廣播和累加器的使用

1、廣播變量和累加器 1.1 廣播變量： 廣播變量容許程序員將一個只讀的變量緩存在每臺機器上，而不用在任務之間傳遞變量。廣播變量可被用於有效地給每一個節點一個大輸入數據集的副本。Spark還嘗試使用高效地廣播算法來分發變量，進而減小通訊的開銷。 Spark的動做經過一系列的步驟執行，這些步驟由分佈式的shuffle操做分開。Spark自動地廣播每一個步驟每一個任務須要的通用數據。這些廣播數據被序列

>>阅读原文<<