Spark算子使用外部變量的優化

第1、使用FastUtil改寫外部變量，FastUtil拓展了java的標準集合，它能夠提供更小的內存佔用以及更快的存取速度。FastUtil的每一種集合類型，都實現了java的對應接口，能夠直接用來替換已有代碼中的對應集合。 第2、使用BroadCast廣播變量到Executor，使每個Executor有一份數據副本，executor內部task共享這個副本（未廣播的變量在每一個task中存在一

>>阅读原文<<