百度世界大會公開課 | 人工智能的安全威脅：深度學習中的攻防對抗分析

9月15日，「萬物智能—百度世界2020」在線上召開。大會聯合央視新聞，用線上發佈會的形式，面向行業、合做夥伴、廣大用戶和媒體，發佈了百度人工智能整年最新、最前沿的技術、產品、解決方案等成果。其中，在百度飛槳與生態公開課環節，來自百度研究院的資深安全研究員仲震宇帶來了《深度學習模型的安全問題與防禦》的技術分享。

在數據豐沛的時代，計算機能夠經過自我學習得到算法，把數據轉化爲知識。深度學習是當前機器學習技術中最爲煊赫一時的一種。深度學習的實質，就是經過構建具備不少隱層的機器學習模型和海量的訓練數據，來學習更有用的特徵，從而最終提高分類或預測的準確性。

通俗地講，圖片識別就是經過抓取數據的核心圖像特徵，從而辨識數據的類型並將其歸類。好比，若是想判斷圖片中是一輛摩托車，那就只要抓取「有兩個輪子」「有踏板」等特徵即可以完成判斷。過去因爲圖片識別的精準度不高，這種判斷很難由機器完成，深度學習的出現便讓這一問題迎刃而解。

近年來，隨着深度學習技術的發展和各類模型的不斷涌現，基於深度學習的計算機安全應用研究也成爲了計算機安全領域裏的一個熱門研究方向。深度學習模型容易受到對抗樣本的惡意攻擊，這在業內已不是新鮮事。對圖像數據添加人類難以經過感官辨識到的細微擾動，即可「欺騙」模型，混淆是非，甚至無中生有。爲實施此類攻擊，攻擊者每每須要提取模型結構、參數，繼而利用特定算法針對性地生成「對抗樣本」，誘導模型作出錯誤的，甚至攻擊者預設的判別結果。

據介紹，在真實的物理世界中，依據這一原理，百度安全研究員已經進行了很多騷氣的實驗操做：

Blackhat歐洲大會上，咱們重現了大衛科波菲爾讓自由女神像消失的魔法。經過控制一輛Lexus背後的顯示器上顯示的畫面，咱們可讓著名的目標檢測模型YOLOv3徹底識別不出Lexus。一樣的，咱們也可讓一個‘中止’的交通標示在目標檢測模型裏被誤認爲是一個限速的標示。能夠想象由此產生的識別錯誤會給安全攸關的駕駛場景帶來麻煩。

固然，上面所提到的一些實驗案例，是基於對深度學習模型高度認知的前提下，咱們把這種提早知道模型內部構造，能夠利用特定算法來生成「對抗樣本」的攻擊，叫作「白盒攻擊」。然而，對於諸如語音識別、無人駕駛等對安全性有極高要求的行業中，攻擊者並不必定能獲取這些深度學習模型的模型框架和訓練數據等詳細內部構造信息，對模型的認知程度不高，這種類型的攻擊就被稱爲「黑盒攻擊」。顯然，相較而言，「黑盒攻擊」的難度更大，因此 AI 開發者們最好保護好自家的 AI 模型，避免讓攻擊者知道其內部構造。

然而，只是保護好本身的模型構造就足夠了嗎？百度安全研究員最近研究發現 —— 黑盒模型也未必更加安全。

咱們發現許多實際分類應用的模型每每都是基於一些預訓練模型。而這些預訓練模型都是公開的。當攻擊者把攻擊目標從黑盒模型轉移到它的父模型後（當中咱們用了一個指紋攻擊的技術完成對父模型的匹配），攻擊難度就相對的下降。而成功攻擊父模型後生成的對抗樣本，一樣能夠利用攻擊遷移性的特色有效地對黑盒模型實施打擊。

公開課的最後，百度安全研究員介紹了百度安全針對對抗樣本的解決思路，以及經過對抗訓練強化模型來提升深度學習模型魯棒性的途徑。百度安全針對人工智能算法安全性的研究，包括深度學習模型魯棒性測試、形式化驗證、機器識別惡意樣本實時監測、黑白盒攻防等領域。

在深度學習對抗上，咱們在Github開源了AdvBox，Perceptron Benchmark工具。其中Perceptron Benchmark爲深度學習模型的魯棒性評估提供了標準的評測方法，同時也爲模型魯棒性的提高提供了有效的標準數據集。AdvBox集成了業界深度學習對抗的算法。此項技術已在Github完成開源，並登上了Black Hat、DEFCON等國際工業界會議，受到全球安全行業的關注和承認。同時，Advbox也已應用於百度深度學習開源平臺PaddlePaddle及當下主流深度學習平臺，可高效地使用最新的生成方法構造對抗樣本數據集用於對抗樣本的特徵統計、攻擊全新的AI應用，加固業務AI模型，爲模型安全性研究和應用提供重要的支持。

咱們但願可以經過百度安全的技術與服務，讓更多人享受到科技帶來的便利，讓更多企業得到更加安全的 AI 解決方案。

點擊連接，調整至1小時43分，查看完整課程視頻
https://haokan.baidu.com/v?vi...