Spark性能優化——性能優化的重要性

因爲Spark的計算本質是基於內存的，因此Spark性能程序的性能可能由於集羣中的任何因素出現瓶頸：CPU、網絡帶寬、或者是內存。若是內存可以容納得下全部的數據，那麼網絡傳輸和通訊就會致使性能出現瓶頸。可是若是內存比較緊張，不足以放下全部的數據（好比在針對10億以上的數據量進行計算時），仍是須要對內存的使用進行性能優化的，好比說使用一些手段來減小內存的消耗。 Spark性能優化，其實主要就是在於對

>>阅读原文<<