關於影響SparkSQL工做效率的三個方面【面試解答】

1、內存分配 衆所周知，SparkSQL操做最終是要被轉換爲spark操做的，而Spark是基於內存運算的，無論是運算仍是shuffle操做亦或是persist/cache操做，都須要內存資源，這些操做的內存資源的在一個執行者進程所擁有的內存佔比能夠經過參數指定。 舉個例子來講，當shuffle和cache的內存佔比比較低，那麼用於計算的內存就越高，但這又會使得用於cache受限，而cache操做

>>阅读原文<<