網易雲易盾CTO朱浩齊：咱們是如何用AI賦能內容安全？

本文由  網易雲 發佈。

 

5月19日，LiveVideoStack攜手網易雲易盾，共同打造了「娛樂多媒體開發應用實踐」專題，幫助開發者和泛娛樂平臺運營人員，提高技術能力，突破難點，拓展思路與視野。

 

在專題論壇中，網易雲易盾CTO朱浩齊分享了《AI賦能的內容安全技術實踐》主題內容，從策略、技術、產品三個方面，詳細介紹了網易在內容安全系統構建方面的實踐經驗，包括如何創建對有害信息精細明確的審覈體系和應急響應機制，如何採用基於天然語言、深度學習技術的智能識別技術，保證對文字、圖片、語音，特別是直播視頻內容的全面精準覆蓋等等。

 

內容安全行業現狀：有害信息的持續性遞增

2017年全球網民34億，互聯網普及率46%；全球智能手機保有量28億；2016年互聯網佔據了中國用戶55%的媒體時間；移動互聯網使用時長超過電視......這些數字都在代表，網絡直播的變現能力已遠遠超過遊戲、電視等其餘媒體。

朱浩齊表示，互聯網進一步滲透人們生活各個角落的同時，也還帶來有害信息的持續性遞增——各類違法和不良信息的舉報量居高不下，甚至引發了國家戰略層面的關注。

沒有網絡安全，就沒有國家安全，更不能讓互聯網成爲傳播有害信息、造謠生事的平臺。所以，近年來，各類處罰案例也是不勝枚舉。

這位網易雲易盾CTO列舉到：2017年4月18日，北京市網信辦、公安局文化場行政執法總隊聯合約談今日頭條、火山直播、花椒直播；2017年4月底，國家新聞出版廣電總局責令騰訊整改微信公衆號、移動客戶端播放視聽節目；2017年6月22日，廣電總局責令關停新浪微博、AcFun、鳳凰網等站的視頻服務；2017年7月，bilibili大量劇集被下架；2018 年4月6日；爲了配合廣電總局的整改，快手擴容本身內審覈團隊；2018 年4月8日，廣電總局責令今日頭條永久關停「內涵段子」等低俗視聽產品......能夠說，行業進入了強監管時代。

「對於企業來講，內容安全更是成爲了刻不容緩的生死命題。」朱浩齊舉例稱，今年4月，文化部和旅遊部公開文件顯示已排查4939 款直播應用，下架370款。「因此，多款直播應用平臺都選擇了加大審覈力度和人工投入。」例如，快手發佈招聘顯示將審覈人員規模擴充到5000人，月薪4000-9000元；今日頭條也表示近期將擴充到6000人審覈團隊，預期到達10000人......

 

 

 

 

朱浩齊認爲，互聯網直播平臺的內容安全給企業帶來的挑戰遠不只如此，在成本、效果、技術上，各類挑戰維度都在不斷升級，更是給企業帶來了極大的困難。

網易雲易盾如何在技術層面提供安全防禦？

分享完嚴峻的形勢後，朱浩齊和你們談了下擁有20年技術沉澱的網易雲易盾是如何作內容安全的。

他說，易盾在內容安全上，一共經歷了三個階段：

• 階段一：關鍵詞、黑白名單、過濾器；
• 階段二：內容特徵識別（膚色，紋理）、貝葉斯過濾、類似度匹配、規則系統；
• 階段三：大數據分析（用戶行爲，用戶分類）、人機識別、人工智能（語義識別，圖像識別、天然語言處理等）。

現階段文本、圖像、語音、視頻四塊都有哪些核心技術？朱浩齊表示，主要有如下這些：

• 文本：智能關鍵詞、模糊匹配、語義分析、小語種檢測；
• 圖片：圖像識別、特徵識別、圖片檢索、OCR 識別；
• 語音：MD5庫檢測、語音特徵檢索、語音特徵識別、語音識別；
• 視頻：視頻轉碼壓縮、視頻流分析、截圖/截幀分析。

 

這位深耕於技術一線的CTO表示，得益於神經網絡學科的快速發展，近年來的機器學習技術也在不斷進步，爲內容安全提供了最堅實的技術保障，包括分層的生物神經網絡、圖像識別技術、深度神經網絡、神經元激活熱力圖等等，在安全技術效果上給予了更多的強化。

 

Hubel& Wiesel（圖片來源：Harvard Brain）

 

他說，這些技術也在網易易盾中獲得了充分應用，包括圖片識別、音頻過濾以及視頻過濾技術。

 

 

 

• 圖片識別技術：支持人像識別，支持色情圖片檢測，支持動漫識別；支持類似匹配，支持圖片旋轉、裁剪，支持改變圖片亮度、色調；支持水印識別。
• 音頻過濾技術：基於強大的語音識別分析引擎，經過網易積累多年的垃圾庫實時過濾有害語音，同將轉成文字進一步過濾。技術要點在於，將語音轉換文本和文本檢測相結合。
• 視頻過濾技術（直播、點播）：視頻流檢測，視頻截圖/截幀檢測，直播間熱度監測，主播黑名單，機器+人工。技術要點在於，將視頻轉換圖片和圖片識別技緊密結合。

 

 

 

 

對於網易來講，內部數據的多樣性也給易盾提供了豐富的實踐場景。「在網易郵箱、網易新聞、雲音樂、LOFTER、雲相冊、薄荷直播等內部應用構建的數十萬變種的數據中，易盾可以實現實時加密過濾垃圾信息、安全防刷等功能，良好地維護了產品運營氛圍和用戶體驗。」

真實的技術環境更爲複雜，網易易盾如何更進一步？

 

事實上，從技術、人力、成本等各維度來看，真實環境中的內容安全防禦更爲複雜。舉例來講，假設10k張圖像中有1張是違禁圖片，易盾的系統準確率爲99.9% ，即1k張圖像會判錯一張，那麼其計算僞陽性率（False Positive Rate，即判斷爲違禁圖像集合中正常樣本的比例）爲：

 

 

 

 

即11 張斷定爲違禁的結果裏面竟有10張是誤判的——數據的難解釋性、黑客的持續性攻擊都給內容安全防禦提出了更高的要求。

 

• 難解釋性：以下圖所示，一張本來能被正確識別的大熊貓圖像，在添加人眼幾乎不可辨認的微小變化以後，居然以99 .3%的置信度被判別爲長臂猿。
  
  

 

 

• 黑客攻擊：經過對輸入數據的維度特性進行改變，能夠針對深度學習數據處理環節進行攻擊，對深度學習圖像識別等應用形成逃逸攻擊以及數據污染攻擊等效果。好比說，下圖某位明星，通過數據的維度特性處理後，它能被機器識別爲「某本山」。
  
  

 

 

 

更遑論，內容安全的「攻擊者們」早已造成了成熟的產業鏈。他們這類徘徊在法律邊緣的羣體，利益明確且分工協做，攻擊手段更是持續升級。因此，對於全部的內容安全廠商來講，這都是一場高成本、長拉鋸的攻堅戰。

 

朱浩齊說：「基於此，易盾對比行業傳統的內容識別單維度服務，還提供了帳號、IP、行爲動做（關注，投票，評論）、內容識別、用戶畫像、羣體畫像、環境數據、設備指紋的多維度技術服務。此外，更是深刻解析攻擊漏洞，從註冊保護、登陸保護、環境監測、行爲分析、用戶分析、離線計算的全服務流程進行深度的安全防禦。」

 

 

 

目前，基於網易所構建的強大用戶關係網絡，易盾提供了場景化的解決方案。從廣告過濾、智能鑑黃、暴恐識別、謠言排查四大方面，實現了彈幕實時過濾、聊天區文本/圖片過濾、頭像/暱稱過濾、直播間電視牆監控、直播間音頻過濾、主播黑名單、用戶黑名單、房間熱度分析等全方位的安全防禦功能。此外，「機器+人工」的操做模式，更是從細微之處着手，提供了升級化的技術功能，智能機器監控、優先推送、智能排序、嫌疑高亮、支持警告、斷流操做、自動補位、視頻大小自適應等等不一而足。

 

 

 

 

 

重重的技術防護下，安全效果天然不言而喻。朱浩齊分享到，目前易盾天天爲網易數億的用戶和內容數據提供安全保障，也給網易全部得產品提供了全面的信息安全服務。「在今年三月份主要商業網站違法不良信息的舉報統計中，易盾全面的信息安全服務爲網易的產品帶來了效果顯著的保護。」他說。

 

如何快速使用易盾？

 

網易易盾，是極速智能的內容安全雲服務，專一內容安全解決方案。目前，網易易盾已在泛娛樂、多媒體、運營商、電商、金融證券等各行各業實現滲透應用，多領域客戶覆蓋下，是秉持初心、堅韌不破的安全技術保障。

 

如今，經過API 接入，訪問 http://dun.163.com，一天便可配置完成。

 

內容安全數據可視化、智能的直播電視牆、身經百戰的審覈團隊，豐富的功能應用，如今便可獲取。

 

網易雲易盾爲您提供反垃圾、DDoS高防等安全服務，歡迎點擊免費試用。

 

瞭解 網易雲 ：
網易雲官網：https://www.163yun.com/
新用戶大禮包：https://www.163yun.com/gift
網易雲社區：https://sq.163yun.com/