Kafka巨量數據寫文件

最近一個項目用到kafka 客戶端接收消息，要求是寫入文件（按順序）。java 有2個思路：shell 1. 利用log4j去寫文件，優勢是穩定可靠，文件根據設置，自動分隔大小。缺點是沒有辦法作到 當寫文件到必定數量或者必定時間後，自動切換目錄的功能。若是循環寫文件，好比設置最多保留10個，那麼就須要用shell腳本去定時備份轉移這些文件，固然也是能解決的。可是用代碼解決這個問題也很簡單：緩存 /

>>阅读原文<<