Spark性能優化第四季

一：Spark性能調優之序列化 1，之所以進行序列化，最重要的原因是內存空間有限（減少GC的壓力，最大化的避免Full GC的產生，因爲一旦產生Full GC則整個Task處於停止狀態！！！）、減少磁盤IO的壓力、減少網絡IO的壓力； 2，什麼時候會必要的產生序列化或反序列化呢？發生磁盤IO和網絡通訊的時候會序列化和反序列化，更爲重要的考慮序列化和反序列化的時候有另外兩種情況： A)Persist

>>阅读原文<<