Flume採集HDFS audit log日誌至HDFS

一、背景 HDFS的audit log產生數據量很大，速度也很快，在機器系統盤上必須當即持久化到HDFS，不然數據會被覆蓋或者磁盤會打滿。 用於數據治理-HDFS廢棄文件、Hive廢棄表檢測與清理。html 二、實現 ① Apache Flume官網下載最新版本的Flume。 ② 配置audit_log_hdfs.confweb # 一個channel一個source 配置3個sink a1.s

>>阅读原文<<