flume使用之flume+hive 實現日誌離線收集、分析

在現在互聯網行業中,數據的收集特別是日誌數據的收集已經成爲了系統的標配。將用戶行爲日誌或者線上系統生產的數據經過flume收集起來,存放到數據倉庫(hive)中,而後離線經過sql進行統計分析,這一套數據流的建設對系統有很是重要的意義。html   一、思路:java 1)線上系統經過log4j將數據打印到本地磁盤上;node 2)在線上系統服務器上安裝flume,做爲agent使用exec so
相關文章
相關標籤/搜索