scala spark 對hdfs文件的操做

1.讀取文件html 打印(獲取)HDFS路徑下全部的文件名(包括子目錄下的) 2018-11-20java Scala HDFS 前言 本身有個需求,如題,須要獲取HDFS路徑下全部的文件名,而後根據文件名用Spark進行後續操做。想了一下用Spark好像不太容易獲取到,還要遞歸的去獲取子目錄下的文件名,因而查了一下,最後用Hadoop的API搞定,這裏記錄下,方便之後會用到。apache 一、
相關文章
相關標籤/搜索