基於Spark UI性能優化與調試——初級篇

Spark有幾種部署的模式，單機版、集羣版等等，平時單機版在數據量不大的時候可以跟傳統的java程序一樣進行斷電調試、但是在集羣上調試就比較麻煩了...遠程斷點不太方便，只能通過Log的形式進行數據分析，利用spark ui做性能調整和優化。 那麼本篇就介紹下如何利用Ui做性能分析，因爲本人的經驗也不是很豐富，所以只能作爲一個入門的介紹。 大體上會按照下面的思路進行講解： 怎麼訪問Spark UI

>>阅读原文<<