6、Kafka 用戶日誌上報實時統計之分析與設計

1、項目總體概述

• 簡述項目的背景

背景：
用戶行跡
企業運營

• 分析項目的目的

經過對項目的分析，能夠初步獲得如下目的：

•實時掌握用戶動態

•根據實時統計結果，適度推廣

•統計分析效果，快速合理的調整

2、Producer 模塊分析

• 分析生產數據來源

在用戶上報日誌中，每條日誌記錄表明用戶的一次活動狀態，示例數據以下：

 

121.40.174.237 yx12345 [21/July/2015 13:25:45 +0000] chrome

 

appid_5 "http://www.***.cn/sort/channel/2085.html"

 

示例數據所包含的信息量，以下圖所示：

 

 

• Flume 到 Kafka 流程分析

數據源生產流程分析，以下圖所示：

 

3、Consumer 模塊分析

• 消費數據來源分析

消費數據源統計的KPI指標，以下圖所示：

 

 

• Kafka 到 Storm 流程分析

數據源消費流程分析，以下圖所示：

 

 

4、項目總體設計

1.項目詳細設計流程

項目詳細設計流程，以下圖所示：

2.KPI 指標設計

KPI 指標設計，以下圖所示：

 

本節咱們項目進行了總體分析，並指導你們去分析 Kakfa 的 Producer 模塊和 Consumer 模塊，以及幫助你們去設計項目的開發流程等知識，應該掌握如下知識：

•項目的背景和目的

•分析 Producer 模塊和 Consumer 模塊

•項目的總體開發流程

•KPI 指標的設計