spark sql 支持多級目錄

當表的分區有子目錄時,spark sql默認是不支持的,能夠用如下設置:sql 在hive cli裏直接set mapreduce.input.fileinputformat.input.dir.recursive=true;就能夠正常使用spark sql引擎 在代碼層面能夠嘗試 .set("spark.hive.mapred.supports.subdirectories","true") .
相關文章
相關標籤/搜索