任務傾斜 （注意和數據傾斜的差別）

轉至元數據結尾 轉至元數據起始 數據傾斜指的是某個節點的數據太大，數據跑不完。而任務傾斜則是節點出問題，任務跑的慢。正好和目前出現的executor&task lost相呼應。網絡 task傾斜緣由比較多，網絡io,cpu,mem都有可能形成這個節點上的任務執行緩慢，能夠去看該節點的性能監控來分析緣由。開啓spark的推測機制後若是某一臺機器的幾個task特別慢，推測機制會將任務分配到其餘機器執行

>>阅读原文<<