大數據技術總結

本文用來記錄大數據的各項技術，用做技術提綱前端 1、數據接入 kafka 消息管道 可配置多個緩存副本（推薦） Flume 直接寫到目的地,Cloudera開源的一套日誌傳輸系統，和Scribe相似。 Scribe Facebook開源的一套日誌傳輸系統，將源日誌傳輸到Hadoop等分佈式文件系統中。 Sqoop 用於傳統數據庫和Hadoop之間的數據傳輸。 RDL 結構化和非結構化數據傳輸組件

>>阅读原文<<