網站日誌流量系統----【數據採集模塊、數據預處理模塊】

1. 模塊開發----數據採集 1.1 需求 在網站 web 流量日誌分析這種場景中，對數據採集部分的可靠性、容錯能力要求通常不會非常嚴苛，因此使用通用的 flume 日誌採集框架完全可以滿足需求。 1. 2 Flume 日誌採集系統 1.2.1 Flume 採集 Flume 採集系統的搭建相對簡單： 1、在服務器上部署 agent 節點，修改配置文件 2、啓動 agent 節點，將採集到的數據匯

>>阅读原文<<