spark性能調優——開發調優

開發調優 目錄 開發調優 概述 原則一：避免創建重複的RDD 一個簡單的例子 原則二：儘可能複用同一個RDD 一個簡單的例子 原則三：對多次使用的RDD進行持久化 對多次使用的RDD進行持久化的代碼示例 Spark的持久化級別 如何選擇一種最合適的持久化策略 原則四：儘量避免使用shuffle類算子 Broadcast與map進行join代碼示例 原則五：使用map-side預聚合的shuffle

>>阅读原文<<