Flink讀取kafka數據並以parquet格式寫入HDFS

大數據業務場景中，常常有一種場景：外部數據發送到kafka中，flink做爲中間件消費kafka數據並進行業務處理；處理完成以後的數據可能還須要寫入到數據庫或者文件系統中，好比寫入hdfs中； 目前基於spark進行計算比較主流，須要讀取hdfs上的數據，能夠經過讀取parquet：spark.read.parquet(path)java 數據實體：web public class Prti {

>>阅读原文<<