spark學習(四):共享變量及一些優化

目錄 1.Spark中的共享變量 1.1 廣播變量 1.2 累計器 2. Spark WEBUI 3. 搭建HistoryServer 4.Master HA 1.Spark中的共享變量 在spark程序中,當一個傳遞給Spark操作(例如map和reduce)的函數在遠程節點上面運行時,Spark操作實際上操作的是這個函數所用變量的一個獨立副本。這些變量會被複制到每臺機器上,並且這些變量在遠程機
相關文章
相關標籤/搜索