spark.sql.sources.parallelPartitionsDiscovery.threshold

streamingdumping運行多天後出現，每個batch多了一個Job（38/38的job），而且該任務的耗時比較長，會使任務積壓，driver的日誌如下： 2019-01-29 11:55:01,631 INFO datasources.PartitioningAwareFileIndex: Listing leaf files and directories in parallel un

>>阅读原文<<