spark任務卡住問題原因之一以及解決方案

文章目錄 背景 分析 缺點 本文是一個記錄文，主要是參考網上的資料 Spark任務一直停在某個Stage不動問題 背景 pyspark 在保存數據時，在最後4-5個stage 任務卡住不動，其他stage 10幾分鐘完成，這幾個2h也沒用完成，而且在sparkUI上面發現需要處理的數據0KB，實在是鬱悶啊。網上查找資料如下，鏈接如上： 分析 主要是使用了spark 的推斷執行機制， 缺點 開始推斷

>>阅读原文<<