spark讀取HDFS多個文件配置

狀況說明:數據以parquet文件形式保存在HDFS上,數據中的某一列包含了日期(例如:2017-12-12)屬性,根據日期對數據分區存儲,以下圖所示: 正則表達式 項目需求:  在項目中想要讀取某一個月的數據,腫麼辦?  解決方法:  spark中讀取本地文件的方法以下:ide sparkSession.read.parquet("hdfs://path") 1 方法一:  要讀取多個文件,文件
相關文章
相關標籤/搜索