阿里巴巴大規模應用Flink的踩坑經驗：如何大幅降低 HDFS 壓力？

衆所周知 Flink 是當前廣泛使用的計算引擎，Flink 使用 checkpoint 機制進行容錯處理[1]，Flink 的 checkpoint 會將狀態快照備份到分佈式存儲系統，供後續恢復使用。在 Alibaba 內部我們使用的存儲主要是 HDFS，當同一個集羣的 Job 到達一定數量後，會對 HDFS 造成非常大的壓力，本文將介紹一種大幅度降低 HDFS 壓力的方法 -- 小文件合併。 背

>>阅读原文<<