spark內核揭祕-14-Spark性能優化的10大問題及其解決方案

問題1：reduce task數目不合適

解決方案：

須要根據實際狀況調整默認配置，調整方式是修改參數spark.default.parallelism。一般的，reduce數目設置爲core數目的2-3倍。數量太大，形成不少小任務，增長啓動任務的開銷；數目過小，任務運行緩慢。因此要合理修改reduce的task數目即spark.default.parallelism

問題2：shuffle磁盤IO時間長

解決方案：

設置spark.local.dir爲多個磁盤，並設置磁盤的IO速度快的磁盤，經過增長IO來優化shuffle性能；

問題3：map|reduce數量大，形成shuffle小文件數目多

解決方案：

經過設置spark.shuffle.consolidateFiles爲true，來合併shuffle中間文件，此時文件數爲reduce tasks數目；

問題4：序列化時間長、結果大

解決方案：

spark默認使用JDK 自帶的ObjectOutputStream，這種方式產生的結果大、CPU處理時間長，能夠經過設置spark.serializer爲org.apache.spark.serializer.KeyoSerializer。

另外若是結果已經很大，那就最好使用廣播變量方式了，結果你懂得。

問題5：單條記錄消耗大

解決方案：

使用mapPartition替換map，mapPartition是對每一個Partition進行計算，而map是對partition中的每條記錄進行計算；

問題6 : collect輸出大量結果時速度慢

解決方案：

collect源碼中是把全部的結果以一個Array的方式放在內存中，能夠直接輸出到分佈式的文件系統，而後查看文件系統中的內容；

問題7: 任務執行速度傾斜

解決方案：

若是數據傾斜，通常是partition key取得很差，能夠考慮其餘的並行處理方式，並在中間加上aggregation操做；若是是Worker傾斜，例如在某些Worker上的executor執行緩慢，能夠經過設置spark.speculation=true 把那些持續慢的節點去掉；

問題8: 經過多步驟的RDD操做後有不少空任務或者小任務產生

解決方案：

使用coalesce或者repartition去減小RDD中partition數量；

問題9：Spark Streaming吞吐量不高

能夠設置spark.streaming.concurrentJobs

問題10：Spark Streaming 運行速度忽然降低了，常常會有任務延遲和阻塞

解決方案：

這是由於咱們設置job啓動interval時間間隔過短了，致使每次job在指定時間沒法正常執行完成，換句話說就是建立的windows窗口時間間隔太密集了；