Spark 合併小文件失敗 出現IOException ：No space left on device 定位

記錄一下導師週末給菜鳥實習生安排的任務 背景 Flume在採集數據的時候向HDFS中寫入會生成很多小文件，現在的話是通過spark 寫的一個程序去合併這些小文件，但是會出現合併小文件失敗的情況，按理來說這是很簡單的一個Job，不應該有失敗的理由，於是就開始了下面的旅程： 定位問題： 首先找到錯誤日誌，發現是啓動merge腳本的時候出現異常 從上面的異常定位到下面的異常，發現是spark出現的IO

>>阅读原文<<