spark之共享數據(廣播變量詳細圖解)

廣播變量: 比如數據庫中一份公共配置表格，需要同步給各個節點進行查詢。 廣播變量允許程序緩存一個只讀的變量在每臺機器上面，而不是每個任務保存一份拷 貝。例如，利用廣播變量，我們能夠以一種更有效率的方式將一個大數據量輸入集合的 副本分配給每個節點。Spark也嘗試着利用有效的廣播算法去分配廣播變量，以減少通 信的成本。   一個廣播變量可以通過調用SparkContext.broadcast(v)方

>>阅读原文<<