Spark 性能調優

由於大多數Spark計算的內存性質，Spark程序可能會受到羣集中任何資源（CPU，網絡帶寬或內存）的瓶頸。通常，如果數據適合內存，則瓶頸是網絡帶寬，但是有時，您還需要進行一些調整，例如 以序列化形式存儲RDD，以減少內存使用量。對於大多數程序，切換到Kryo序列化並以序列化形式保留數據將解決大多數常見的性能問題（官網提示）。 1. 常規性能調優 一：最優資源配置 Spark性能調優的第一步，就是

>>阅读原文<<