spark性能優化：操做優化

在大數據開發領域中，spark也成功受歡迎平臺之一，我也基於spark開發過一些大數據計算做業，其中的調優過程也記錄一下。web 一、對重複的RDD做緩存處理 好比一個RDD屢次使用那麼應該對這個RDD做緩存處理，避免重複計算。數據庫 JavaRDD txtRdd = sc.textFile("spark-biz/src/main/resources/people.txt"); JavaRDD<P

>>阅读原文<<