Spark項目實戰-troubleshooting之解決JVM GC導致的shuffle文件拉取失敗

一、shuffle文件拉取失敗的背景介紹 我們知道Executor是一個JVM進程，在其內部有一個BlockManager用於管理該executor的一些數據。 Map端的task在往磁盤裏寫文件的時候，會通過BlockManager來維護底層的數據，同時也會將數據的元信息寫入到Driver中。 下一個stage的task拉取數據的時候會從Driver獲取拉取數據的元信息，找到executor並從

>>阅读原文<<