Spark性能調優-高級篇

一、 前言 對於使用Spark的大數據研發工程師而言，由於我們硬件基礎設施的有限性，而我們的運算數據卻可能存在很大的不確定性。因些，熟練掌握Spark各種情況下的性能優化對於大數據工程師而言是十分有必要的。 二、 數據傾斜調優 其實，對於大數據處理，數據量大不是什麼大問題，而最怕的是數據傾斜；這也可能是我們大數據計算中一個最棘手的問題，此時Spark作業的性能會比期望差很多。數據傾斜調優，就是使用

>>阅读原文<<