提交spark streaming產生大量磁盤文件

前一天提交的spark streaming測試程序，master爲local[*]app 次日從cdh界面發現該主機多了100多G文件測試 查看hdfs 目錄下/user/spark/applicationHistory，發現提交的spark程序產生了大量日誌文件spa hdfs dfs -du -h /user/spark/applicationHistory3d 查看前幾行，都是些event日

>>阅读原文<<