大數據技術棧

大數據技術棧全貌 下面自底向上介紹各個層的主要項目。 1 採集層和傳輸層 Sqoop 在hadoop和關係型數據庫之間轉換數據。 Flume Flume是一個分佈式的高可用的數據收集、聚集和移動的工具。通常用於從其他系統蒐集數據，如web服務器產生的日誌，通過Flume將日誌寫入到Hadoop的HDFS中。 Canal 數據抽取是 ETL 流程的第一步。我們會將數據從 RDBMS 或日誌服務器等外

>>阅读原文<<