大數據之Spark性能優化

Spark性能優化概述 Spark是基於內存的大數據計算，需要進行性能優化原因是CPU、內存、網絡帶寬出現了瓶頸。如果網絡傳輸和通信導致性能出現瓶頸，那麼要加大網絡帶寬是必要的，如果內存導致性能出現瓶頸，難以處理10億以上的數據量進行計算，除了加大內存，還需要對內存的使用進行性能優化，使用一些性能技術調優。Spark性能優化，主要是對內存進行性能優化。 Spark性能優化技術點 1、診斷內存的消耗

>>阅读原文<<