SparkSQL性能分析與優化及相關工具小結

簡介 前段時間的工做是將內部一個OLAP系統Hxxx做爲一個數據源接入到SparkSQL並進行優化。本文總結下調優過程中一些能夠借鑑與討論的地方，鑑於本人水平有限，還請有這方面調優經驗的同窗不吝賜教^_^php 優化主要是從兩個方面來考慮， 1. 集羣粒度的調優，包括CPU與內存分配，數據分佈，shuffle等。數據存儲在HDFS上，Hxxx接入SparkSQL時已經保證了Data Localit

>>阅读原文<<