Uncaught exception while reverting partial writes to file ...(Too many open files)

在用一個新的spark集羣 處理業務時，處理的任務量稍微大一點，涉及到較多的map和reduce的任務式就會報下列錯誤：   開始以爲是spark集羣的內存沒給夠，因爲在另一個更大集羣中和自己只有6g的單機上跑都沒有問題，但嘗試加大集羣運行內存和集羣worker和executor數量後仍然報同樣地錯誤。在技術羣裏問了一下，有人提示說是centos系統的系統參數沒有設置好，沿着這個線索對比了出問題的

>>阅读原文<<