大數據之Spark性能優化

Spark性能優化概述 Spark是基於內存的大數據計算，須要進行性能優化緣由是CPU、內存、網絡帶寬出現了瓶頸。若是網絡傳輸和通訊致使性能出現瓶頸，那麼要加大網絡帶寬是必要的，若是內存致使性能出現瓶頸，難以處理10億以上的數據量進行計算，除了加大內存，還須要對內存的使用進行性能優化，使用一些性能技術調優。Spark性能優化，主要是對內存進行性能優化。性能優化 Spark性能優化技術點 一、診斷內

>>阅读原文<<