業務場景下數據採集機制和策略

1、場景描述

作面向C端用戶的產品，十分依賴用戶數據的收集，下面都見過這樣一張數據分析圖，經過鏈路上各個環節的數據採集，分析對比出曝光產品的交易量：

經過對商品的瀏覽-點擊-交易頁面-支付購買等，分析產品的交易場景，這裏是從大的業務方面觀察數據的鏈路，實際上在分析的時候要考慮不少細節問題。

2、數據來源

用戶數據來衡量用戶或者產品的各方面緯度是最具備說服力的，因此在互聯網的產品後期開發和優化過程當中，對數據的採集和管理一直都是很是重要操做。

如今產品常見的客戶端有PC端、H5端、APP端、小程序等各個場景的入口，更有一些物聯網設備或者專門作的數據採集機制，不一樣的場景下的數據類型都是要區分的。經過不一樣端口下各種數據埋點，獲取各個場景下的不一樣事件的數據來分析產品的優缺點，獲取具備建設性的分析結果。

例如模塊一中的案例：經過對端口的分析若是在APP端商品A的推薦和交易率最高，在小程序端推薦效果很差，那就能夠考慮針對APP和小程序端採用不一樣的推薦機制。

3、事件類型劃分

數據須要採集，而且要區分不一樣端口的數據只是基本的意識層面，思考採集數據的事件類型是最基礎的操做。這裏要從產品的特色去考慮，不一樣一律而論。下面提供一些基礎採集數據和一些常見案例，關於核心業務數據相對都是精細和完整的，基本具有讀庫直接分析的條件。

基礎信息

屬性	字段	類型	描述
操做終端	app_client	String	Android/IOS/小程序/H5等
終端版本	app_version	String	版本號標識
用戶標識	user_id	Integer	用戶ID
網絡地址	ip_address	String	用戶IP信息

這些信息是存在任何採點數據中的，經過這些基礎信息採集，用來分析不一樣端口下用戶的特色，以此能夠進行差別化的管理和運營。

登陸信息

屬性	字段	類型	描述
登陸時間	login_time	Date	用戶登陸時間
在線時長	online_time	Long	在線使用系統的時間

經過對登陸和在線時間，以及一些使用信息，判斷該類用戶活躍度，是否須要重點運營或者營銷激活。

業務基礎

屬性	字段	類型	描述
服務類型	service_id	Integer	不一樣的業務服務
模塊劃分	model_type	Integer	例如訂單/支付/物流等

以此做爲業務數據採集的基礎信息，用來對業務數據作總體的劃分和分析，具體的細節數據須要根據具體場景設計。

商品案例

屬性	字段	類型	描述
商品信息	product_id	Integer	商品信息
展示位置	position_id	Integer	例如：列表/推薦位/廣告位
店鋪信息	shop_id	Integer	所屬店鋪信息
搜索信息	key_word	String	搜索關鍵字
當前單價	unit_price	Double	商品當前單價
當前銷量	sales_num	Long	商品當前銷量

這裏是按照用戶瀏覽行爲作的一個簡單的數據採集信息，這種機制在實際的電商APP中很常見，產生點擊或者搜索的商品會被重點推薦，若是沒有這類動做，則根據平常瀏覽信息作推薦機制。在實際的開發中，採集的數據遠比這裏複雜，須要根據實際業務須要去考量。

營銷案例

屬性	字段	類型	描述
活動位置	location_id	Integer	入口位/引導頁/推薦位/分享連接等
營銷產品	product_id	Long	營銷活動主打產品類型
產品詳情流量	detail_num	Long	活動產品瀏覽量統計
訂單確認頁	detail_num	Long	活動產品瀏覽量統計
活動交易統計	trade_num	Long	活動最終轉化統計

經過運營活動進行產品營銷，活動結束後對數據進行復盤統計，而後根據活動軌跡數據的分析，平衡營銷產生的價值和成本，不斷調整活動策略，優化運營思路。

4、實現方式

一、業務層面

從業務角度來看，除了一些用戶無感知的採集操做以外，還能夠基於問卷調查方式，例如不少APP在使用一段時間後都會彈出用戶評價相似的評分系統，或者意見留言的入口，更加直接的蒐集用戶反饋信息。

二、技術層面

最多見的就是SDK埋點技術，針對特定用戶行爲或事件進行捕獲、處理和發送給服務器的相關技術及其實施過程。這種方式用來處理一些非核心業務十分常見。若是是一些核心業務，可能須要自定義的方式採集數據，避免形成數據泄露的問題。

三、數據積累

當業務不斷髮展，須要分析的場景會愈來愈複雜，並且採集的數據量達到必定規模以後，數據管理的和分析的難度就會變大，就會須要專業化的流程和智能工具，例如BI工具，可視化組件，數據大屏，多場景聯合分析等。

5、源代碼地址

GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile

推薦閱讀：編程體系整理

序號	項目名稱	GitHub地址	GitEE地址	推薦指數
01	Java描述設計模式,算法,數據結構	GitHub·點這裏	GitEE·點這裏	☆☆☆☆☆
02	Java基礎、併發、面向對象、Web開發	GitHub·點這裏	GitEE·點這裏	☆☆☆☆
03	SpringCloud微服務基礎組件案例詳解	GitHub·點這裏	GitEE·點這裏	☆☆☆
04	SpringCloud微服務架構實戰綜合案例	GitHub·點這裏	GitEE·點這裏	☆☆☆☆☆
05	SpringBoot框架基礎應用入門到進階	GitHub·點這裏	GitEE·點這裏	☆☆☆☆
06	SpringBoot框架整合開發經常使用中間件	GitHub·點這裏	GitEE·點這裏	☆☆☆☆☆
07	數據管理、分佈式、架構設計基礎案例	GitHub·點這裏	GitEE·點這裏	☆☆☆☆☆
08	大數據系列、存儲、組件、計算等框架	GitHub·點這裏	GitEE·點這裏	☆☆☆☆☆