spark 中刪除HDFS文件

在寫spark代碼的時候，常常會遇到文件夾路徑存在的狀況，通常有如下的解決方式html 1.在shell腳本中 直接調用hadoop fs -rm pathjava 2.經過設置可直接覆蓋文件路徑，此方法我沒有測試shell [html]  view plain  copy yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")

>>阅读原文<<