Spark Scan大表時任務啓動過慢分析

問題背景 測試SQL select asset_inout_ex['asset_inout_1c_sum_1'],dt from ASSET_INOUT_AMT a where dt<20181119 and cust_code=0000000 order by dt limit 10000; 由於原始表中有456 個DT分區，因此DAG中是一個包含456個 HadoopRDD 的 UnionR

>>阅读原文<<