被動式全棧設備指紋技術調研

被動式全棧設備指紋技術調研

zoerywzhou@163.com

http://www.cnblogs.com/swje/

做者：Zhouwan

 2017-4-9

 

前言

　　一、傳統的設備識別技術：

早先的設備指紋技術，經過安裝插件獲取設備信息生成設備ID，是主動採集終端用戶設備乃至隱私信息，用戶體驗苛刻，同時在跨App及跨網頁時存在技術壁壘。所以在面對更隱性的移動黑產時每每有心無力。

二、被動式全棧設備指紋技術：

 「全棧被動式設備指紋」識別技術對用戶徹底透明，經過OSI協議棧快速獲取上網設備的軟件、硬件、網絡等多層次指紋信息，爲每一個入網設備生成跨平臺的惟一設備ID，做爲虛擬空間的「身份證」，打造開放化平臺的隱形帳號體系。

僅僅依靠分析每一個移動設備發出的普通HTTP請求，就能從中提取出每一個設備獨特的「指紋」，設備實時識別準確率高於96%。

　　既能夠作到精準的識別手機、平板、電腦、智能家電、智能汽車等多種多樣的移動設備，同時又不依賴在用戶終端植入腳本的方式獲取所需的信息。

 「全棧」指的是經過收集網絡通信7層協議全棧中全部可用的信息做爲特徵，以及物理時空（Temporal-Spatial）信息進行核心運算得到設備「指紋」以識別設備。

「被動式」指的是不主動從用戶終端獲取信息，無需在用戶終端植入任何代碼，所以能夠作到100%保護用戶隱私安全。

 

技術要點整合

從如下幾個角度對被動式全棧設備指紋技術進行分析：

Saas 平臺系統：

 　　欺詐等行爲的解決方案主要是由 Maxent 獨立開發的 Saas 平臺系統實現的。

猛獁反詐欺 Saas 服務平臺：基於 Maxent 自身的專利機器學習技術及 DFP 技術自動發現新的詐欺模式，持續地自行進行反詐欺算法的優化，根據客戶交易平臺的實時活動事件及歷史數據，挖掘海量數據以分辨真實或可疑的設備。

動態實時更新規則：實時監測詐欺行爲，主動優化詐欺算法

詐欺指數 MoMA Score：提供各種交易的分析頁面，將數據簡單化、可視化。綜合設備 IP、地理位置、交易速度等用戶數據打分，排查出有風險的設備

自動覈算 + 人工審覈：系統自動計算詐欺指數，而且對單筆交易提供接受 or 拒絕的選項，簡化全人工審覈到了流程

 

底層技術的優點：

 Maxent 使用多種底層技術共同支撐猛獁反詐欺平臺的動態詐欺模式挖掘，創建了各類風險模型，其底層技術的優點主要歸結爲如下兩方面：

設備身份識別：被動式全站設備指紋技術是將同一設備在不一樣應用、不一樣場景、不一樣網絡中的行爲作關聯，產生精準的設備畫像，幫助線上交易風控系統定向識別在線詐欺行爲。

機器學習：動態地發現欺詐特徵，以非監督或者半監督的方式動態調整參數訓練的算法模型，由系統自動推斷出詐欺風險。在此過程當中，當機器須要大量數據不斷修正參數去訓練模式及算法的時候，根據用戶的指令、機器的自我學習，長此以往機器就能夠自動計算出用戶須要的結果。

 也就是說隨着單個 B 端企業用戶使用次數的增長，算法進行自我學習的過程當中也會進行自我優化，最終隨着不一樣行業給出的數據和反饋，漸漸機器就適應了每一個單個的客戶，機器計算出的結果會愈來愈契合用戶的業務需求。

 

技術門檻：

Maxent 的技術門檻就體如今：經過分析協議棧裏的信息或者經過算法就能夠分析出來單用戶的多設備關聯連接，多種底層技術各有側重和優點。

在不侵犯用戶隱私的前提下 僅依靠收集受權及公開的設備信息作數據挖掘、無侵入式追蹤，遵照國際隱私法規。

 

有一句話說得好：

大數據不少狀況下陷入了數據的誤區，而公司想要解決的問題就是如何更好地利用現有數據爲決策作支撐。

 

主動式、被動式、混合式的比較

主動式主要經過SDK或JS代碼在客戶端主動收集設備信息，來實現設備的精準識別，響應速度和準確度相對較高，但使用場景常由於隱私保護而受限。

被動式主要經過在服務器端收集通訊協議和網絡的特徵來識別設備， 100%保護用戶隱私，於是有更大的適用範圍，尤爲是一些對隱私信息很是敏感，不便於植入SDK或JS代碼的場景，如互聯網金融行業。同時，被動式設備指紋也有着算法和系統複雜度高、響應時間較長、研發難度大等侷限。

混合式設備指紋技術指將主動式和被動式設備指紋技術整合在同一個設備識別與跟蹤的架構中，將主動式設備指紋技術在客戶端生成的設備標識符，與被動式設備指紋技術在服務器端收集的、協議棧相關的特徵信息對應起來，使得全部的設備都有一個惟一的設備識別ID。

跨設備行爲關聯問題中：

在須要將同一用戶在移動Web和App中的行爲關聯起來的場景中，混合式設備指紋技術有着比主動式更大的應用範圍。

 一個典型的案例是，當一個消費者點擊到一個移動網絡廣告以獲取一個新應用時，廣告主但願知道這次廣告點擊是否最終帶來了新用戶。而因爲嵌入Web頁面的Javascript代碼和移動APP中的SDK收集的設備特徵不一樣，致使生成的設備指紋標識符也不相同。所以主動式設備指紋技術沒法將同一用戶在移動Web和App中的行爲關聯起來，而被動式和混合式能夠根據相同的協議棧特徵，來判斷移動WEB和APP發送的消息是否來自於同一臺移動設備。

 

最後我想說：被動式全棧設備指紋技術沒有那麼簡單就能實現：

Maxent創業團隊簡介：

 

通付盾創業公司CEO簡介：

 

先打基礎功，從小事作起吧

首先要清楚地明白OIS七層網絡結構：OSI七層與TCP/IP五層網絡架構詳解

 

而後再說而後吧……先確立個小目標，好比先把機器學習學精通，再好比DFP技術，再好比反欺詐領域相關的各類背景和技術。

 

 

參考資料

通付盾率先發布被動式全棧設備指紋雲服務

Maxent：被動式全棧設備指紋技術跟手指頭還真沒什麼關係，主作互聯網金融反欺詐解決方案，加強小貸公司金融寒冬中禦寒能力

價值千億的設備指紋識別技術，也有黨派之爭（上+下）

 

補充：

看到知乎上有一篇還不錯的文章，比較詳細地解釋了從流量報文中解析出相關應用的問題的技術（DPI）。或許對咱們研究被動式全棧設備指紋技術有所幫助，與君共勉：

運營商是怎麼分析出數據通道中特定 App 的數據流量的？