spark之共享數據(廣播變量詳細圖解)

廣播變量: 比如數據庫中一份公共配置表格,需要同步給各個節點進行查詢。 廣播變量允許程序緩存一個只讀的變量在每臺機器上面,而不是每個任務保存一份拷 貝。例如,利用廣播變量,我們能夠以一種更有效率的方式將一個大數據量輸入集合的 副本分配給每個節點。Spark也嘗試着利用有效的廣播算法去分配廣播變量,以減少通 信的成本。   一個廣播變量可以通過調用SparkContext.broadcast(v)方
相關文章
相關標籤/搜索