Iceberg 在基於 Flink 的流式數據入庫場景中的應用

本文以流式數據入庫的場景爲基礎,介紹引入 Iceberg 做爲落地格式和嵌入 Flink sink 的收益,並分析了當前可實現的框架及要點。html 應用場景 流式數據入庫,是大數據和數據湖的典型應用場景。上游的流式數據,如日誌,或增量修改,經過數據總線,通過必要的處理後,匯聚並存儲於數據湖,供下游的應用(如報表或者商業智能分析)使用。git 上述的應用場景一般有以下的痛點,須要整個流程不斷的優化
相關文章
相關標籤/搜索