大數據架構

大數據架構和技術選型 大數據架構 源數據層： 1、sdk日誌埋點 2、日誌文件：爬蟲日誌、業務日誌 3、關係型數據庫：mysql、oracle等 數據採集層： 1、離線：flume、Sqoop、Nifi 2、實時：filebeat、nginx+lua 補充：當數據量達到5億左右的時候，filebeat+logstash採集數據到hdfs，數據會出現丟失的情況，所以此種方案不適合用於大數據存儲到hd

>>阅读原文<<