介紹一篇對抗學習最新論文 Meta Adversarial Training ，做者來自德國博世公司。node
深度學習模型中一個很致命的弱點就是它容易遭到對抗樣本攻擊。在真實物理世界中，通用對抗樣本能夠低成本的對深度模型進行對抗攻擊，這種對抗攻擊能夠在各類環境中欺騙模型。git
到目前爲止對抗訓練是針對對抗攻擊最有效的防護手段，但問題在於訓練對抗模型是一件成本很高的事情，並且防護通用對抗樣本難度會更大。github
在該論文中做者提出了一種元對抗訓練方式，它將對抗訓練和元學習的結合在一塊兒，不只下降訓練成本，並且大大提升了深度模型對通用對抗樣本的魯棒性。
web
通用對抗擾動於2017年的《Universal adversarial perturbations》中被首次提出。算法
通用對抗擾動與單一圖片的對抗擾動有很大的區別。通用對抗擾動最大的一個特色就是該擾動與輸入圖片無關，它與模型自己和整個數據集相關；微信
而單一圖片的對抗擾動只是針對於它的輸入圖片，對數據集其它的圖片攻擊性幾乎沒有。
網絡
如上圖所示，假若有一個動物數據集和經該數據集上訓練獲得神經網絡分類器，通過對抗攻擊生成了針對於該動物數據集和該模型的通用對抗擾動Universal perturbation。app
將該對抗擾動加在選取出的貓，狗，兔子，猴子，鳥的圖片，並輸入到分類器中，分類器所有分類出錯。
編輯器
假定 是 維向量數據點 和相應標籤 上的分佈， 爲待優化模型參數， 爲損失函數， 爲對抗擾動集合， 爲對數據點施加擾動 的函數， 爲隨機擾動向量。svg
對於通用對抗擾動，對抗擾動的集合表示爲:
對於通用Patch 擾動，函數 b表示爲：
根據公式（1），做者從新定義了通用對抗損失爲：
做者通用對抗擾動的初始值進行元學習，並使用基於梯度的元學習來處理優化問題 ，在更新對抗目標函數的外部最小化的 的同時，做還對對初始化 進行元學習。這樣作的好處在於用盡可能少的梯度步長來近似 的內部優化問題。
爲了鼓勵元擾動生成集的多樣性，對於每一個元擾動，須要隨機分配一個目標，並執行有針對性的I-FGSM攻擊。這避免了許多擾動收斂到相似的模式，能夠愚弄模型預測相同的效果，還須要將隨機選擇的固定步長 分配給每一個元擾動。
較大的步長對應於元擾動，元擾動更全局地探索容許的擾動空間，而較小的步長致使更細粒度的攻擊。
爲了可以更加清晰的展現出該論文中關於元對抗訓練的過程，綜合上述的算法介紹，我將論文中的算法流程圖進行了從新進行了整理，以下框圖所示：
魯棒性評估
該論文中的魯棒性評估方法實際上是擴展了於2018年Madry等人在PGD論文中的魯棒性評估的方法。具體公式以下所示：
根據上式利用蒙特卡洛則有以下的估計公式：
其中數據採樣 ，隨機向量 。另外做者將隨機投影（S-PGD）的對抗擾動的公式定義爲：
定性定量結果
做者利用覆蓋大約佔比圖像14%（24x24像素）的通用Patch來評估魯棒性，而且對於每一個Patch從圖像中心最多隨機平移26個像素。每一個模型利用SGD訓練75輪，初始學習率爲0.033，學習衰減率設置爲0.9，Batch_Size爲128。
定量的結果以下圖所示爲對Tiny ImageNet（圖片尺寸的大小爲64x64，ImageNet的圖片大小爲256x256）分類器的攻擊成功率。
其中CL表明的是乾淨樣本數據，RI是帶有隨機初始化的Patch的樣本，DI是帶有裁剪的Patch的樣本，LF是低頻濾波器樣本，Tr是從其它模型中遷移過來的對抗樣本。能夠直觀的發現，該論文中提出的MAT是在防護對抗攻擊中效果最好的。
防護通用對抗Patch的定性的結果以下圖所示，在AT，SAT，UAT，以及本文提出的MAT的對抗訓練方法中，只用MAT起到了抵禦對抗攻擊的效果。
防護通用對抗擾動的定性的結果以下圖所示，在AT，SAT，UAT，以及本文提出的MAT的對抗訓練方法中，AT和MAT都完美的抵禦對抗攻擊。
總體綜合來看，MAT在抵禦通用對抗擾動中是最出色的。
論文：
https://arxiv.org/abs/2101.11453
代碼：
http://github.com/boschresearch/meta-adversarial-training
END
備註：對抗
對抗學習交流羣
掃碼備註拉你入羣。
微信號:aicvml
QQ羣:805388940
微博知乎:@我愛計算機視覺
投稿:amos@52cv.net
網站:www.52cv.net
在看，讓更多人看到
本文分享自微信公衆號 - 我愛計算機視覺（aicvml）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。