數據埋點採集的那些事兒

       數據採集是數據分析的基礎，而埋點是最主要的採集方式。那麼數據埋點採集到底都是哪些事呢?咱們主要從三個方面來看：什麼是埋點，埋點怎麼設計，以及埋點的應用。

1、數據採集以及常見數據問題

1.1數據採集

      數據採集有多種方式，埋點採集是其中很是重要的一部分，不論對c端仍是b端產品都是主要的採集方式，數據採集，顧名思義就是採集相應的數據，是整個數據流的起點，採集的全不全，對不對，直接決定數據的廣度和質量，影響後續全部的環節。在數據採集有效性，完整性很差的公司，常常會有業務發現數據發生大幅度變化。

數據的處理一般由如下5步構成：

1.2常見數據問題

      大致知道數據採集及其架構以後，咱們看看工做中遇到的問題，有多少是跟數據採集環節有關的：

一、數據和後臺差距很大，數據不許確-統計口徑不同、埋點定義不同、採集方式帶來偏差

二、想用的時候，沒有我想要的數據-沒有提數據採集需求、埋點不正確不完整

三、事件太多，不清楚含義-埋點設計的方式、埋點更新迭代的規則和維護

四、分析數據不知道看哪些數據和指標-數據定義不清楚，缺少分析思路

      咱們須要根源性解決問題：把採集當成獨立的研發業務來對待，而不是產品研發中的附屬品。

2、埋點是什麼

2.1 埋點是什麼

      所謂埋點，就是數據採集領域的術語。它的學名應該叫作事件追蹤，對應的英文是Event Tracking  指的是針對特定用戶行爲或事件進行捕獲，處理和發送的相關技術及其實施過程。數據埋點是數據分析師，數據產品經理和數據運營，基於業務需求或者產品需求對用戶行爲的每個事件對應位置進行開發埋點，並經過SDK上報埋點的數據結果，記錄彙總數據後進行分析，推進產品優化和指導運營。

      流程伴隨着規範，經過定義咱們看到，特定用戶行爲和事件是咱們的採集重點，還須要處理和發送相關技術及實施過程;數據埋點是服務於產品，又來源於產品中，因此跟產品息息相關，埋點在於具體的實戰過程，跟每一個人對數據底層的理解程度有關。

2.2爲何要作埋點

      埋點就是爲了對產品進行全方位的持續追蹤，經過數據分析不斷指導優化產品。數據埋點的質量直接影響到數據，產品，運營等質量。

一、數據驅動-埋點將分析的深度下鑽到流量分佈和流動層面，經過統計分析，對宏觀指標進行深刻剖析，發現指標背後的問題，洞察用戶行爲與提高價值之間的潛在關聯

二、產品優化-對產品來講，用戶在產品裏作了什麼，停留多久，有什麼異常都須要關注，這些問題均可以經過埋點的方式實現

三、精細化運營-埋點能夠貫徹整個產品的生命週期，流量質量和不一樣來源的分佈，人羣的行爲特色和關係，洞察用戶行爲與提高業務價值之間的潛在關聯。

2.3埋點的方式

      埋點的方式都有哪些呢，當前大多數公司都是客戶端，服務端相結合的方式。

準確性：代碼埋點>可視化埋點>全埋點

3、埋點的框架和設計

3.1埋點採集的頂層設計

       所謂的頂層設計就是想清楚怎麼作埋點，用什麼方式，上傳機制是什麼，具體怎麼定義，具體怎麼落地等等;咱們遵循惟一性，可擴展性，一致性等的基礎上，咱們要設計一些通用字段及生成機制，好比：cid, idfa,idfv等。

用戶識別：用戶識別機制的混亂會致使兩個結果：一是數據不許確，好比UV數據對不上;二是涉及到漏斗分析環節出現異常。所以應該作到：a.嚴格規範ID的自己識別機制;b.跨平臺用戶識別

同類抽象: 同類抽象包括事件抽象和屬性抽象。事件抽象即瀏覽事件，點擊事件的聚合;屬性抽象，即多數複用的場景來進行合併,增長來源區分

採集一致：採集一致包括兩點：一是跨平臺頁面命名一致，二是按鈕命名一致;埋點的制定過程自己就是規範底層數據的過程，因此一致性是特別重要，只有這樣才能真正的用起來

渠道配置：渠道主要指的是推廣渠道，落地頁，網頁推廣頁面，APP推廣頁面等，這個落地頁的配置要有統一規範和標準

3.2 埋點採集事件及屬性設計

      在設計屬性和事件的時候，咱們要知道哪些常常變，哪些不變，哪些是業務行爲，哪些是基本屬性。基於基本屬性事件，咱們認爲屬性是必須採集項，只是屬性裏面的事件屬性根據業務不一樣有所調整而已，所以，咱們能夠把埋點採集分爲協議層和業務層埋點。

業務分解：梳理確認業務流程、操做路徑和不一樣細分場景、定義用戶行爲路徑

分析指標：對特定的事件進行定義、核心業務指標須要的數據

事件設計：APP啓動，退出、頁面瀏覽、事件曝光點擊

屬性設計：用戶屬性、事件屬性、對象屬性、環境屬性

3.3 數據採集事件及屬性設計

      Ev事件的命名，也遵循一些規則，同一類功能在不一樣頁面或位置出現時，按照功能名稱命名，頁面和位置在ev參數中進行區分。僅是按鈕點擊時，按照按鈕名稱命名。

ev事件格式：ev分爲ev標識和ev參數

規則：

ev標識和ev參數之間用「#」鏈接(一級鏈接符)

ev參數和ev參數之間用「/」來鏈接(二級鏈接符)

ev參數使用key=value的結構，當一個key對應多個value值時，value1與value2之間用「，」鏈接(三級鏈接符)

當埋點僅有ev標識沒有ev參數的時候，不須要帶#

備註：

ev標識：做爲埋點的惟一標識，用來區分埋點的位置和屬性，不可變，不可修改。

ev參數：埋點須要回傳的參數，ev參數順序可變，可修改)

app埋點調整的時，ev標識不變，只修改後面的埋點參數(參數取值變化或者增長參數類型)

通常埋點文檔中所包含的sheet名稱以及做用：

A、曝光埋點彙總；

B、點擊和瀏覽埋點彙總；

C、失效埋點彙總：通常會記錄埋點失效版本或時間；

D、PC和M端頁面埋點所對應的pageid；

E、各版本上線時間記錄；

埋點文檔中，全部包含的列名及功能：

3.4 基於埋點的數據統計

用埋點統計數據怎麼查找埋點ev事件：

一、明確埋點類型（點擊/曝光/瀏覽）——篩選type字段

二、明確按鈕埋點所屬頁面（頁面或功能）——篩選功能模塊字段

三、明確埋點事件名稱——篩選名稱字段

四、知道ev標識，可直接用ev來進行篩選

 根據ev事件怎麼進行查詢統計：當查詢按鈕點擊統計時，可直接用ev標識進行查詢，當有所區分可限定埋點參數取值。由於ev參數的順序不作要求可變，因此查詢統計時，不能按照參數的順序進行限定。

4、應用-數據流程的基礎

4.1指標體系

      體系化的指標能夠綜合不一樣的指標不一樣的維度串聯起來進行全面的分析，會更快的發現目前產品和業務流程存在的問題。

4.2可視化

      人對圖像信息的解釋效率比文字更高，可視化對數據分析極爲重要，利用數據可視化能夠揭示出數據內在的錯綜複雜的關係。

4.3  埋點元信息api提供

      數據採集服務會對採集到的埋點寫入到 Kafka 中，對於各個業務的實時數據消費需求，咱們爲每一個業務提供了單獨的 Kafka，流量分發模塊會按期讀取埋點管理平臺提供的元信息，將流量實時分發的各業務 Kafka 中。

      數據採集猶如設計產品，不能過分。不只要留出擴展餘地，更要常常思考數據有沒有，全不全，細不細，穩不穩，快不快。

    

歡迎關注個人公衆號，給我留言數據方面的話題。