spark 大型項目實戰(四十九):troubleshooting之解決yarn-client模式導致的網卡流量激增問題

yarn-client模式下，會產生什麼樣的問題呢？ 由於咱們的driver是啓動在本地機器的，而且driver是全權負責所有的任務的調度的，也就是說要跟yarn集羣上運行的多個executor進行頻繁的通信（中間有task的啓動消息、task的執行統計消息、task的運行狀態、shuffle的輸出結果）。 咱們來想象一下。比如你的executor有100個，stage有10個，task有1000

>>阅读原文<<