Spark ERROR: org.apache.spark.shuffle.FetchFailedException 問題追查

背景 由於這兩天升級上線spark 2.2.1 thriftserver服務，對服務運行狀況，尤爲對失敗做業的關注比較高，今天發現有一臺機器上的task失敗率格外高，報錯FetchFailedException，過去我會認爲是資源競爭，致使executor因內存不足而掛掉，從而致使block fetch失敗。今天仔細一查，發現問題的另外一個緣由。java 下面是追查過程：web 1） 首先看到sp

>>阅读原文<<