Flink讀取kafka數據並以parquet格式寫入HDFS

大數據業務場景中，經常有一種場景：外部數據發送到kafka中，flink作爲中間件消費kafka數據並進行業務處理；處理完成之後的數據可能還需要寫入到數據庫或者文件系統中，比如寫入hdfs中； 目前基於spark進行計算比較主流，需要讀取hdfs上的數據，可以通過讀取parquet：spark.read.parquet(path) 數據實體： public class Prti { p

>>阅读原文<<