從0開始學大數據總結筆記： 三、大數據平臺與系統集成

一、大數據平臺由上到下，可分爲三個部分：數據採集、數據處理、數據輸出與展現。web 數據採集將應用程序產生的數據和日誌等同步到大數據系統中，因爲數據源不一樣，這裏的數據同步系統其實是多個相關係統的組合。數據庫同步一般用 Sqoop（Sqoop適合離線批量導入關係數據庫的數據，Canle適合實時導入關係數據庫的數據。），日誌同步能夠選擇 Flume，打點採集的數據通過格式化轉換後經過 Kafka 等

>>阅读原文<<