Flink消費Kafka數據,寫入HDFS - 使用 StreamingFileSink

1、應用場景: Flink 消費 Kafka 數據進行實時處理,並將結果寫入 HDFS。html 2、Streaming File Sink 因爲流數據自己是無界的,因此,流數據將數據寫入到分桶(bucket)中。默認使用基於系統時間(yyyy-MM-dd--HH)的分桶策略。在分桶中,又根據滾動策略,將輸出拆分爲 part 文件。java 一、Flink 提供了兩個分桶策略,分桶策略實現了 ap
相關文章
相關標籤/搜索