spark的task傾斜

什麼是Spark的Task傾斜？ 假設當我們提交資源的到yarn上的時候 executor個數爲6個 每個executor的cores爲4個 task的個數爲6個 理想的情況是：每一個executor做一個task，那麼6個executor都在工作，6個task同時執行，只要服務器配置一致，6個task的數據量一致的話，那麼數據是很快就可以執行完畢的 我自己實際測試的情況如下： 從圖上可以看到，我

>>阅读原文<<