spark執行過程分析

spark任務執行記錄sql 背景：利用pyspark join表，隨後寫入hive；代碼中包含三個寫入操做hiveContext.sql(sql_join).write.saveAsTable("stage_data.users_basic_tmp")。spa 查看任務被分爲三個job image.png 第1個任務比較簡單，只有一個stage即完成了。 image.png 第二個任務比較大，共

>>阅读原文<<