基於SparkStreaming對銀行日誌處理系列--整體技術框架

基於SparkStreaming對銀行日誌分析，實時技術架構圖 通過flume實時採集原日誌，送到kafka緩存，SparkStreaming準實時從kafka拿數據，經過ETL、聚合計算送到redis，供前端展示，具體技術及代碼見後面博客； 除了實時部分，還有離線這一塊，技術框架如下： 前面都一樣，只是通過SparkStreaming ETL後，不聚合計算直接插入hbase，供做離線批量和歷史查

>>阅读原文<<