map端和reduce端參數的調優策略

原文http://www.javashuo.com/article/p-rgekyewn-gv.html 使用hadoop進行大數據運算,當數據量及其大時,那麼對MapReduce性能的調優重要性不言而喻。尤其是Shuffle過程中的參數配置對作業的總執行時間影響特別大。下面基於官網和工作中的情況總結和相關的調優策略。      1.關於map端的調優屬性      2.關於reduce端的調優屬
相關文章
相關標籤/搜索