spark 集羣優化

前言 最近公司有一個生產的小集羣，專門用於運行spark作業。但是偶爾會因爲nn或dn壓力過大而導致作業checkpoint操作失敗進而導致spark 流任務失敗。本篇記錄從應用層面對spark作業進行優化，進而達到優化集羣的作用。 集羣使用情況 有數據的目錄以及使用情況如下： 目錄 說明 大小 文件數量 數據數量佔比 數據大小佔比 /user/root/.sparkStaging/applica

>>阅读原文<<