Spark性能優化——性能優化的重要性

因爲Spark的計算本質是基於內存的,因此Spark性能程序的性能可能由於集羣中的任何因素出現瓶頸:CPU、網絡帶寬、或者是內存。若是內存可以容納得下全部的數據,那麼網絡傳輸和通訊就會致使性能出現瓶頸。可是若是內存比較緊張,不足以放下全部的數據(好比在針對10億以上的數據量進行計算時),仍是須要對內存的使用進行性能優化的,好比說使用一些手段來減小內存的消耗。 Spark性能優化,其實主要就是在於對
相關文章
相關標籤/搜索