阿里巴巴大規模應用Flink的踩坑經驗：如何大幅下降 HDFS 壓力？

衆所周知 Flink 是當前普遍使用的計算引擎，Flink 使用 checkpoint 機制進行容錯處理[1]，Flink 的 checkpoint 會將狀態快照備份到分佈式存儲系統，供後續恢復使用。在 Alibaba 內部咱們使用的存儲主要是 HDFS，當同一個集羣的 Job 到達必定數量後，會對 HDFS 形成很是大的壓力，本文將介紹一種大幅度下降 HDFS 壓力的方法 -- 小文件合併。no

>>阅读原文<<