Spark官方調優文檔翻譯

Spark調優 因爲大部分Spark計算都是在內存中完成的,因此Spark程序的瓶頸可能由集羣中任意一種資源致使,如:CPU、網絡帶寬、或者內存等。最多見的狀況是,數據能裝進內存,而瓶頸是網絡帶寬;固然,有時候咱們也須要作一些優化調整來減小內存佔用,例如將RDD以序列化格式保存(storing RDDs in serialized form)。本文將主要涵蓋兩個主題:1.數據序列化(這對於優化網絡
相關文章
相關標籤/搜索