Spark推測執行解決SparkStreaming任務task卡死問題

Spark推測執行解決SparkStreaming任務task卡死問題 景：測試環境運行一個SparkStreaming任務，yarn-cluster模式，duration爲5分鐘一個批次，每一個批次平均2000w條records，並行度爲60緩存 資源配置爲：服務器 ${SPARK_HOME}/bin/spark-submit --name ${jobname} --driver-cores 3

>>阅读原文<<