雲原生網站威脅掃描系統

隨着企業上雲的業務需求，掃描業務需求和使用場景也發生了變化，網站威脅掃描產品逐步受到雲上租戶的青睞，特別是雲原生的網站威脅掃描系統。網站威脅掃描系統能夠普遍用於如下業務場景：

• 雲上業務系統上線或者重要活動保障，須要對業務系統簡裝修作一次安全體檢。
• 0day漏洞爆發的時候，全面掌握雲上業務資產的漏洞狀況，有針對性及時修復漏洞。
• 合規檢查過等保的時候，須要提供業務系統漏洞掃描結果。
• 每一年對雲上業務系統作滲透測試的時候，須要經過自動化掃描器下降人力的投入。

---

在設計和開發公有云威脅掃描系統以前，咱們對公有云和傳統廠商的掃描器進行了競品分析，咱們發現傳統掃描器有如下缺點：

1. 掃描速度很慢

• 傳統的以硬件盒子交付的掃描產品，不支持分佈式掃描部署。同時，因爲業務線承壓訪問能力，必需要對QPS限速，限制了總體掃描速度。沒法經過增長機器資源，提高總體掃描速度。
• 掃描模塊包含Web漏洞掃描、主機漏洞掃描、配置覈查掃描等太多的掃描模塊，致使掃描速度受限。特別是對海量的企業資產，掃描速度徹底沒法知足用戶要求。
• 智能動態爬蟲以及POC掃描插件優化力度不足。

2. SaaS化服務能力不足

• 傳統廠商0day漏洞更新速度很慢，下降了企業用戶的漏洞發現和修復時間。

---

針對以上缺陷，京東雲與AI網絡威脅掃描產品功能定位：

• 支持分佈式掃描架構。
• 掃描模塊只包含Web漏掃掃描、端口漏洞掃描。
• 智能爬蟲&精選POC掃描插件。
• SaaS化更新0day掃描插件。

01 產品架構

產品技術架構圖以下：

1. 網站威脅掃描產品採用分佈式、鬆耦合的設計理念，主要分爲API、調度、Worker 3大模塊，數據存儲採用Redis與MySQL。各個組件的功能以下：

• API負責對完服務，全部設置、獲取類別的請求都經過API接口進行。
• 調度屬於掃描的「核心」，負責worker信息的收集、監控，任務的獲取、分發等工做。
• Worker主要是「幹活」的，執行調度派下來的任務，並將經過API存入數據庫。
• Redis主要存儲運行中的一些臨時信息，好比任務進行中時，須要頻繁的讀寫任務的狀態和結果都存在Redis中。任務結束後，會將Redis中的數據內容同步到MySQL中。
• MySQL存儲因此的任務以及結果信息。
• POC插件以及worker組件支持熱更新升級， 升級文件存放在文件中心中。

2.網站威脅掃描產品的Worker部分採用分步驟執行：

• 每一個步驟能夠單獨使用並進行掃描，步驟之間鬆耦合。
• 但也支持部分Worker組件依賴前面的Worker組件的結果。例如端口漏洞掃描能夠依賴端口掃描與端口指紋的結果，這樣會提高掃描的準確性與掃描速度。

3.產品採用分佈式架構，知足一致性、可用性和分區容錯性的特色，能夠提供高質量、高穩定的掃描服務：

• 任務分派與執行任務分模塊工做，而且會有任務狀態監控機制，保證出錯的任務會被從新派發。
• 會有Worker工做資源的監控機制，若是Worker主機狀態不可用，調度會將該主機提出可用列表，並不會再向其派發任務。
• 採用多區域，雙、多活部署，防止某區域的主機出問題時，依然能夠正常提供服務。
• 若是當前沒有運行任務，或者運行任務較少時，Worker會進入睡眠狀態。減小資源無心義的使用率。當有新的任務派發下來後，會酌情喚醒Worker去工做。
• 下面是產品工做時序圖，闡述了worker工做的簡化流程：

02 技術優點與產品功能亮點

產品功能

集資產自動關聯發現、Web漏洞掃描、端口漏洞掃描、弱密碼檢測四大核心功能，發現網站或服務器在網絡中的安全風險，爲雲上業務提供多維度的安全檢測服務，知足合規要求，讓網站安全漏洞無所遁形。

產品優點

深度漏洞掃描：支持：OWASP Top10 漏洞檢測類型，PoC插件檢測，資產指紋掃描關聯能力。

全面報告：提供詳盡的漏洞掃描報告，包括：系統存在的Web安全漏洞、應用系統安全漏洞，系統存在的弱口令等及修復建議，引導並幫助用戶修補漏洞。

高效精準：採用web2.0智能爬蟲技術，內部驗證機制不斷優化，提升檢測準確。

分佈式掃描架構：基於雲原生分佈式掃描框架，能夠充分利用雲平臺的技術優點，對系統中的各個模塊要儘可能解耦，下降他們之間的依賴程度，使得整個系統具備較高的穩定性和擴展性。

入門指南：

• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Threat-Overview.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Asset-Management.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Task-Management.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Risk-Management.md

點擊【閱讀】，瞭解更多京東雲網站威脅掃描相關信息

歡迎點擊「京東雲」瞭解更多精彩內容