Spark 共享變量詳解

目錄   一:普通外部變量 二:廣播變量(Broadcast Variable) 三:累加變量(Accumulator) 四:流量的消耗 五:邏輯構圖 一:普通外部變量 需要定義爲 final 終態後,才能被算子內部所使用。 每個應用到的Task都拷貝一份副本變量,計算時,只能針對副本   二:廣播變量(Broadcast Variable) 只讀屬性,每個節點拷貝 好處:節省了內存的消耗,節省流
相關文章
相關標籤/搜索