Sumap 網絡空間測繪mysql
互聯網在高速發展的今天，傳統的網絡安全大多面向局部安全不曾考慮總體全網環境下的網絡安全，這樣也形成了近年來攻擊者頻繁面向全網展開攻擊。數億的物聯網設備安全問題被大範圍的暴露出來。同時攻擊者在面向全網攻擊既包括傳統攻擊方式WEB攻擊，緩衝區溢出攻擊，數據庫攻擊。同時也涵蓋新型的針對物聯網設備和工控設備層面的攻擊也愈加頻繁。算法
備註：全網（總體互聯網空間，包括ipv4,ipv6,域名信息等）sql
SUMAP全球網絡空間超級雷達數據庫
SUMAP項目全稱"全球網絡空間超級雷達"，項目出發點針對全球網絡空間測繪方向。總體SUMAP項目下主要包括，sumap大數據搜索平臺，sumap探測引擎，sumap漏洞掃描引擎以及基於機器學習模型的智能資產標籤化管理等。安全
SUMAP大數據搜索平臺：主要功能包括關鍵詞搜索，資產搜索，ipv4 ipv6搜索，域名搜索，ico搜索，漏洞搜索，漏洞編號搜索，國家地區搜索，風險監測報告等。能夠實現用戶經過不一樣維度展示出全網環境下的測繪效果。在搜索平臺背後集成了大數據解決方案可彈性擴充並存儲數據。作到探測引擎可實時同步大數據平臺，大數據平臺可實時提供數據給搜索平臺展示，作到數據聯動。服務器
（圖爲sumap大數據搜索平臺展現）網絡
（圖爲sumap大數據搜索平臺地圖測繪展現）架構
SUMAP探測引擎：主要功能探測全球網絡空間，引擎程序徹底自主研發並在探測性能上已經突破單臺服務器每秒60萬併發的探測掃描能力。2小時內便可完成單個端口在ipv4網絡環境下的探測掃描。在探測速度上遠超國內外同類項目或產品。同時探測功能上目前已支持ipv4,ipv6,域名等，探測內容上支持端口信息，指紋信息，版本信息等。在探測指紋上構造特殊探測報文可有效避免觸發防火牆等設備。併發
SUMAP漏洞引擎：經過結合主被動方式以覆蓋全網掃描探測，重點以地區維度的中高危漏洞探測，相比傳統漏掃的不一樣在於能夠針對漏洞快速覆蓋全網檢測。同時作到對已知漏洞持續監測，未知漏洞經過重點風險資產重點關注目的測繪全網。ssh
智能資產標籤：主要負責對資產進行標籤化計算，分析，識別。利用智能標籤對探測指紋，識別指紋以及ip屬性端口屬性域名屬性作綜合智能標籤。用於解決以往傳統掃描器探測指紋單一，識別指紋單一的問題。同時對於傳統網絡掃描器每每根據默認端口號來識別資產如開放80端口默認識別爲http資產，開放3306端口默認識別爲mysql數據庫資產。不經校驗的對資產進行屬性標籤。而智能資產標籤對探測指紋，返回包指紋要求必須進過驗證，如80端口發送http探測指紋，根據返回包驗證是否返回了正確的http數據在對資產作智能標籤。以及在網絡測繪應用場景中對全網中的資產中經過模型迭代對探測指紋，識別指紋反覆更新確保可以準確的對資產進行智能資本標籤。
深度學習智能標籤
深度學習智能標籤主要包括：探測指紋標籤，識別指紋標籤，資產標籤，資產屬性標籤等。在複雜的全網環境下傳統單一的探測指紋，識別指紋均沒法作到有效的全網資產識別。其主要緣由包括：
1. 應用服務開放到其餘特殊端口非標準默認端口；
2. 用戶自建或封裝的業務端口；
3. 端口業務基於TLS不一樣版本的加密協議傳輸；
4. 探測指紋單一沒法根據端口業務構造探測報文；
5. 識別指紋單一沒法根據不一樣的返回包進行識別鑑定。
智能探測指紋與識別指紋迭代技術：
傳統探測指紋如http協議探測指紋,ftp探測指紋,ssh探測指紋等協議指紋一般經過抓包工具分析發情請求報文以後造成單一探測指紋，不會在具體深刻到協議中的每一個字段含義分析。這樣就形成了探測指紋可能沒法覆蓋這一類協議中的全部資產。基礎標籤，sumap探測引擎首先基於傳統指紋探測時候對返回包進行基礎的識別指紋識別，對資產進行基礎標籤在有了基礎標籤資產以後，對同類型資產進行字段級別探測指紋測試。造成更爲有效的探測指紋用來對同一種協議不一樣服務或者不用應用進行探測。造成更爲有效的探測指紋後在從新對全網環境下探測識別，根據返回包字段內容信息從新梳理出識別指紋。基於上述模型在經過利用大數據架構，AI深度學習使之更快速的分解出智能探測指紋，與智能識別指紋。聚類分類算法用於對探測指紋識別指紋進行更有效的運算，具體實現方式爲先對30%的樣本數據進行了層次聚類(cluster.hierarchy)，得出聚簇中心以後，根據出現關鍵字頻率進行類別自動化定義，對於沒法判別類別的聚簇，人工進行識別再對剩下的70%數據進行k均值聚類(K-means)運算，其中k爲聚簇中心聚類個數，及聚簇中心的分類。從而斷定出的智能探測指紋，智能識別指紋。
資產模型標籤技術：
經過構建智能標籤模塊可對全網環境下的資產進行標籤化處理包括：基礎網絡服務http,ftp,ssh,telnet等，以及終端設備，路由器，防火牆，安全代理、Web服務器集羣，數據中心，雲服務等資產的識別，識別設備類型包括廠商、品牌、型號、軟件及版本、域名資產等已知的設備進行標籤，也可對未知指紋進行迭代模型學習分析以後在進行標籤。
在智能識別指紋下，對同類資產非同類資產，同類資產不一樣結構，同結構不一樣的資產，都會進行資產識別以後對資產進行屬性標籤。達到貼合用戶業務的屬性標籤。其中關鍵技術點包括可對資產屬性進行人工干預，如經過智能探測指紋探測出去以後返回包內容沒法進行智能識別指紋識別沒法對資產歸類時，人工干預以後對沒法識別資產能夠從新歸類。
高效迭代的ipv6創新探測
不一樣於傳統ipv4探測，在ipv6普遍的地址範圍下經過針對ipv6的特色目前已迭代了四代探測算法模型。現已累計全球ipv6數據超42億+條，並保持日均千萬級別數據更新量持續迭代更新。
（圖｜ipv6探測演示）
第一代模型經過ipv6公開地址段信息使用活躍度算法針對大網段化整爲零計算網段活躍程度後在細化掃描，以此模型調度探測引擎重點探測活躍度相對較高網段地址。
（圖｜ ipv6地址段）
第二代模型經過使用針對互聯網全量域名信息採集，經過解析域名AAAA記錄獲得域名ipv6地址信息，在經過對ipv6地址信息擴散後持續探測。並結合第一代模型計算活躍度擴大探測地址段。