大數據方案-數倉建設

阿里雲方案 基於阿里雲日誌服務實現,拉取阿里雲日誌到本地數據庫存儲。 優勢:實施速度快。 缺點:依賴阿里雲日誌服務,擴展性和靈活性較差。前端 自研方案 前端、雲端、Nginx等不一樣格式的日誌發送到Kafka消息隊列,以後作ETL數據清洗,以後能夠使用Storm作實時計算或使用Hive/Spark Streaming作離線批處理,處理結果存儲在Hbase中,使用Redis作緩存,ES作索引。維度等
相關文章
相關標籤/搜索