Spark on Yarn:性能調優

1. 調優經驗 應該說,Spark開發中,具體採用什麼調優方法去優化性能,需要根據具體算法和實現而定,適合我們這個問題的方法不一定就適合其他問題,但希望我們的經驗可以讓其他人少踩點坑,更多的調優方法還可以參考官方文檔中的 Configuration 和 Tuning 部分。 (1)配置項的使用 熟悉Hadoop開發的同學應該對配置項不陌生。根據不同問題,調整不同的配置項參數,是比較基本的調優方案。
相關文章
相關標籤/搜索