spark異常分析（一）

程序頻繁出現lost executor問題，提示與某個節點無法連接，failed to connect to…… 觀察異常節點在集羣裏面的情況，如下，隔一段時間會出現網絡異常 最開始，我們以爲是機房網絡出了問題，於是對這個節點的流量進行監控，發現如下：（該服務器的交換機端口有流量打滿的情況） 觀察程序運行，故障發生在大數據量的shuffle read過程，每次在這個環節會lost executor

>>阅读原文<<