sparksql電商項目調優

1、性能調有、壓縮格式的選擇 壓縮方式考慮兩個方面：壓縮速度、壓縮文件的可分割性。 Bzip2壓縮效果是最好的，但是Bzip2壓縮速度慢，可分割； Gzip壓縮效果不如Bzip2，但是壓縮解壓速度快，不支持分割； LZO壓縮效果不如Bzip2和Gzip，但是壓縮解壓速度快，並且支持分割； 2、參數優化 調整並行度： spark.sql.shuffle.partitions ：默認200 分區字段類

>>阅读原文<<