spark 大型項目實戰(五十):troubleshooting之解決yarn-cluster模式的JVM內存溢出無法執行問題

總結一下yarn-client和yarn-cluster模式的不同之處： yarn-client模式，driver運行在本地機器上的；yarn-cluster模式，driver是運行在yarn集羣上某個nodemanager節點上面的。 yarn-client會導致本地機器負責spark作業的調度，所以網卡流量會激增；yarn-cluster模式就沒有這個問題。 yarn-client的drive

>>阅读原文<<