性能調優之在實際項目中廣播大變量

如果說，task使用大變量（1m~100m），明知道會導致性能出現惡劣的影響。那麼我們怎麼來解決呢？ 廣播，Broadcast，將大變量廣播出去。而不是直接使用。     剛纔說的這種隨機抽取的map，1M，舉例。還算小的。如果你是從哪個表裏面讀取了一些維度數據，比方說，所有商品品類的信息，在某個算子函數中要使用到。100M。 1000個task。100G的數據，網絡傳輸。集羣瞬間因爲這個原因消耗

>>阅读原文<<