阿里雲爬蟲風險管理產品商業化，爲雲端流量保駕護航

爬蟲風險管理產品是阿里云云盾推出的新安全產品，1月底正式宣佈商業化上線，提供能夠覆蓋Web/H5/API/APP多種業務形態的爬蟲風險解決方案，對爬蟲風險進行有序管理。

惡意爬蟲引起高風險
隨着傳統行業互聯網化及大類業務的數據化，使爬蟲風險逐漸成爲一個風險爆發點。有網絡數據報告統計，目前互聯網中超過60%的流量都是批量自動化的爬蟲流量。

廣義的爬蟲並非僅僅定義爲「爬數據」，惡意的黑客利用一些自動化程序「爬蟲」來進行業務攻擊和欺詐，例如撞庫、佔座、搶票、刷排名、接口濫用、刷紅包等，趨利特徵很是明顯。常見爬蟲主要會集中在相似航空、電商、諮訊、數據、金融、旅行等一些存在高價值數據、原創內容、高獲利點的行業中。

惡意爬蟲流量每每會引起企業一系列安全問題，並對業務形成必定利益損失，甚至請求量級過大也會同步形成服務器的不可用。

防爬任務困難重重
爬蟲中也並非徹底都是惡意爬蟲流量，有一部分友好的爬蟲，例如搜索引擎爬蟲、第三方合做夥伴程序、Robots 協議程序等。安全運維不但要區分出正常人請求和機器爬蟲請求，還須要放行友好的爬蟲，這會對爬蟲識別檢測精細度要求較高，並對不一樣類型的爬蟲要有分類和標記。

難點其二在於業務渠道的多樣性。行業的互聯網化快速發展，尤爲是移動端的興起，通常客戶業務中除基礎的Web端外，移動端的H5/APP/小程序等也佔據較大的業務流量。而爬蟲每每攻擊的是全部渠道中防禦最薄弱及攻擊成本最低的業務渠道，會持續在各渠道中切換嘗試發現防禦短板。若是防禦方案比較單一，容易在對抗過程當中產品顧此失彼的狀態，最終防禦失效，仍然形成業務影響。

持續對抗的過程當中，爬蟲也是會學習進化的，從最初簡單自動化腳本會逐步演變成模擬正經常使用戶的訪問請求，模擬小區寬帶IP，模擬頁面瀏覽停頓操做，模擬正常業務流程路徑等等，咱們變得愈來愈難識別惡意爬蟲。

難但並非沒有辦法。和爬蟲的對抗就像一場博弈，咱們利用雲上生態的優點下降防禦成本，提升識別檢測的實時性和精準度，逼得爬蟲用來假裝的成本高於爬蟲的獲利時天然會放棄。咱們創建獨立的檢測系統和防禦體系，圍而不全殺；用AI智能模型識別爬蟲，讓爬蟲難以察覺識別邏輯而減緩變異進度；用人機的驗證手段，作第二層的引擎判斷，更靈活的對識別結果作處置，進一步減小對正經常使用戶的誤報。

爬蟲風險如何有序管理
爬蟲風險管理產品是一款雲盾推出的新安全產品。

產品爲SAAS模式，反向代理接入很是輕量和靈活，對七層流量作一次轉發，經過雲上綜合的爬蟲防禦引擎識別並過濾爬蟲流量，幫助客戶下降惡意的自動化程序帶來的業務影響。乾淨的業務流量會被繼續轉發到源站，保證業務正常運行。

產品建設了一整套有層次的爬蟲檢測模塊，主要分爲基礎防禦層、雲端情報層、機器學習層，進行信息傳遞和鑑別，從提供流量上自定義爬蟲特徵規則工具，到共享雲端優點的行業爬蟲攻擊情報，再到定製貼合客戶業務的機器學習算法，逐步遞進，快速幫助客戶打造一套量身定作的反爬蟲策略體系。

產品除了能快速甄別爬蟲的行爲特徵，還能夠實現對不一樣風險等級的爬蟲識別結果作不一樣的處置，合法爬蟲作放行，惡意爬蟲作阻斷，遇到可疑的爬蟲去作一個挑戰或者校驗，多驗一次身來作最終判斷。

同時，產品內提供了數據可視化模塊，從不一樣維度展現給用戶，包括數據和數據之間的關聯，讓用戶參與爬蟲特徵數據和防禦數據之間關係的探索，不斷溝通和迭代，不只清晰地向用戶展現爬蟲入侵的每一步，也提升了用戶反爬蟲的策略決策能力。數據模塊還集成了阿里雲的SLS日誌服務，能夠查詢和定位詳細的日誌內容，幫助用戶瞭解防禦狀況和流量細節。

當前產品防禦場景主要集中在：

產品優點突出
一、雲端部署
雲端有技術專家負責產品的規則更新，迅速解決實時風險。
雲上資源是能夠隨時彈性擴容的，針對高峯業務可以自由收縮，幫助客戶解決因大促等問題須要擴充機器而帶來的成本。
雲上的威脅情報資源很是豐富，可以發現針對行業的集中式攻擊，並能夠將情報應用在行業客戶的防護系統中。
二、生態體系
跨多行業的爬蟲行爲分析，利用關係網絡進行惡意爬蟲的擴充發現。
爬蟲業務目的很是明確，識別行業的集中式攻擊，達成行業內共享風險防控。
沉澱網絡上黑灰產的百萬級已知針對性爬蟲風險的IP/UA黑灰產數據。
共享億級阿里系的設備端的風險情報。

據瞭解，目前國內外有很多作惡意爬蟲流量管理的廠商，側重點也不盡相同，但阿里雲爬蟲風險管理產品則是側重於多層的防禦，除了人機識別等檢測方式，還會經過行爲分析、威脅情報、機器學習算法等方式輔助檢測，能夠覆蓋包括APP在內的各類環境，雲上反向代理的方式接入也很是輕量和靈活。

點擊瞭解產品詳情
https://www.aliyun.com/product/antibot

點擊瞭解「阿里雲新品發佈會頻道」：
https://promotion.aliyun.com/ntms/act/cloud/product.html

 

原文連接 更多技術乾貨 請關注阿里云云棲社區微信號 ：yunqiinsight