Spark on YARN 筆記

一直對hadoop這套侷限在會用就好,沒有對hadoop生態有個系統性的深入瞭解,也就導致在用的時候出問題很難找到關鍵的原因,都得google so 各種找相關信息。所以現在覺得,還是得花一些時間,至少把與平時用到的相關部分的原理、概念理解清楚。 只要是用hadoop生態的組件,很多都會用YARN來管理資源與任務分配。而資源分配的合理與否,直接關係到任務的執行效率,甚至決定成功或失敗。spark又
相關文章
相關標籤/搜索