Flink讀寫數據(hdfs)(DataSet)

讀數據 DataSet<String> hdfslines=env.readTextFile("your hdfs path") 寫數據 hdfslines.writeAsText("your hdfs path") 以上會根據你的默認的線程數來生成多少個分區文件,若是你想最後生成一個文件的話,能夠在後面使用setParallelism(1),這樣最後就只會生成一個文件了。javascript
相關文章
相關標籤/搜索