spark調優----廣播變量

廣播變量：        在Spark Application中，經常會使用到一個共享變量，衆所周知的，Spark是一個並行計算框架，對於這個變量，每一個executor的task在訪問它的時候，都會去拷貝一份副本去使用。如下圖所示：        1.對於這種默認方式，它會極大的系統的內存，我們可以假設一個集羣中有1024個task，這個共享變量大小假設爲1M，那麼就會去複製1024份到集羣上去

>>阅读原文<<