AI TIME歡迎每一位AI愛好者的加入！web
對抗樣本的存在代表現代神經網絡是至關脆弱的。算法
爲解決這一問題，研究者相繼提出了許多方法，其中使用對抗樣本進行訓練被認爲是至今最有效的方法之一。微信
然而，通過對抗訓練後神經網絡對於正常樣本的性能每每會降低，這一問題引發了學術界的普遍關注，這種準確度與魯棒性之間互相妥協的本質緣由仍未被找出。網絡
在這一工做中，講者及其團隊從正則化的角度來研究神經網絡的對抗魯棒性。嘉賓團隊指出，通過對抗訓練以後的網絡在特徵空間的絕大多數方向上將被平滑，致使樣本集中於決策邊界附近；換言之，通過對抗訓練的網絡輸出每每是相對低置信度的，這種網絡對於正常樣本的性能每每也是更差的。框架
研究代表，咱們應該以更溫和的手段來構建對抗魯棒性，避免過分正則化。dom
1、對抗樣本與對抗魯棒性svg
在溫宇馨同窗提到的這個案例中，第一張熊貓的圖片在神經網絡中以57.7%的置信度識別爲熊貓；但把第二張熊貓圖片再次輸入同一個神經網絡中，竟然以99.3%的置信度識別爲長臂猿。在人眼中明明是相同的圖片，爲何會在神經網絡中獲得相差如此之大的結果呢？這就引出了對抗樣本的概念。函數
事實上第二張一幅通過人工精心設計的圖片，也被稱爲對抗樣本。這幅圖片上疊加了一層噪聲，而神經網絡提取特徵的方式能夠簡單的理解爲對像素的計算。所以人工合成的圖像在神經網絡看來是兩幅徹底不一樣的圖片。對抗樣本有兩個特性：（1）誤導性；（2）不可感知性。這兩個特性分別表示對神經網絡的誤導性，以及對人眼的隱蔽性。
性能
對抗樣本在現實生活中會致使一些意想不到的隱患，就好比：
這兩個案例分別表明了對抗樣本可能對自動駕駛行業和人臉識別行業形成的威脅：沒法識別被貼上特製標識的交通標誌，或者在特製的眼鏡干擾下沒法識別面部。
面對這種威脅，最好的辦法就是生成對抗樣本，以提升網絡的對抗魯棒性。下述生成對抗樣本的方式被稱爲白盒攻擊，即已知網絡及其參數，經過設計的一個損失函數，得到對抗噪聲，以後將其疊加到原圖像當中，得到對抗樣本。爲了使得模型具備魯棒性，一個最直接的方式就是將對抗樣本用數據增集的方式加到原函數當中進行對抗訓練。除此以外，還可以經過對輸入圖像進行預處理以消除對抗樣本的影響、調節網絡參數使其偏向某類特定解使輸出平滑，或者改變網絡結構以得到避免噪聲的能力。
在如下的內容中，模型得到的對抗魯棒性均經過對抗訓練得到。
2、神經網絡的準確度與對抗魯棒性
在對抗樣本被提出的時候，研究人員每每認爲對抗樣本不只能夠增長模型的對抗魯棒性，也增長模型的泛化性。但近期的研究代表這種想法彷佛不太現實。
在上圖中，藍色的線表明對抗樣本在模型中的性能，而紅色的線則表明正常樣本在模型中的性能。能夠看到隨着對抗訓練中對抗樣本強度的增長，對抗樣本的偏差在降低，而正常樣本的偏差在上升，能夠得出得到對抗魯棒性每每是以模型在正常樣本上的性能退化爲代價的。
下面探究對抗魯棒性對模型泛化性的影響。
對於不一樣對抗魯棒性的模型在一樣的正常樣本上的性能，分別考量其錯誤率和損失，其結果表如今上面的兩幅圖中，左邊的是錯誤率，右邊的是損失。
隨着對抗魯棒性的增長，左圖中天然的訓練樣本和天然的測試樣本的錯誤率在增長，其error gap也在增長，即模型的性能變差了。
而在右圖中，訓練樣本的損失隨着對抗魯棒性的加強而增長，測試樣本的損失卻在減小，它們之間的loss gap也在縮小，即代表模型的泛化性變好了。
在正常樣本上爲何會出現看上去矛盾的現象呢？這不由讓人疑問：模型在得到魯棒性的過程當中發生了怎樣的改變？而這些改變又對模型決策產生了怎樣的影響？爲何對抗魯棒性做爲一種有效的正則化手段會致使模型擁有較差的性能？這就引出了本次分享的第三個主題，對抗魯棒性與正則化的理論分析。
3、對抗魯棒性與正則化的理論分析
分享者在這一部分中的主要工做是在給定魯棒性的狀況下，模型的泛化性會產生怎樣的改變，而且探究這種變化產生的緣由。
首先，根據魯棒性框架，做者推導出了一個泛化界，在這個界中margin, adversarial robustness radius和singular value of weight matrices 創建起了關係，下面的公式顯示的是推導事後泛化偏差界的上界：
其中νmin表示樣本到決策邊界是最短的點的距離，在對抗魯棒性的前提下，其須要大於對抗性的魯棒性所定義的半徑；
σ^imin神經網絡權重矩陣的最小奇異值，可簡單理解爲從輸入空間到特徵空間的放大或縮小；
表示最後一層的權重矩陣；
umin表示特徵空間上某個點距離其最近的決策邊界的最小距離；
公式中的其他項在理解泛化界中不構成障礙，能夠暫時不去考慮。
爲了更形象的去理解上述公式，能夠看上面的圓形與方形種類的分類。當不要求對抗魯棒性的時候，紅色的虛線能夠做爲決策邊界。可是當要求了對抗魯棒性以後，其表現出了正則化效果就是使得本來可行的紅色決策邊界再也不可行，本來的決策邊界如今變爲了黑色的實線。值得一提的是，邊界距離margin則表現爲樣本（黑色的圓形或者方形）到距離其最近決策邊界（黑色實線）的距離。
上圖是神經網絡中某一層的特徵投影的狀況。以ReLu爲激活函數的神經網絡將空間分割成爲若干部分，每一個區域對於x而言都是分段線性的，即從x到x’是一個分段線性變換的過程。這張圖說明，咱們能夠將輸入空間上的邊界距與特徵空間上的邊界距聯繫在一塊兒。
4、對抗魯棒性與正則化的經驗分析
上一節中，margin, adversarial robustness radius和singular value of weight matrices 創建起了關係。在本節當中，做者將會分享根據上面的理論指導在模型中觀察到的現象。
咱們經驗性地發現：
對於具備更高對抗魯棒性的神經網絡，其權重矩陣的奇異值會有更低的方差
這種奇異值方差的減小會致使樣本在決策邊界附近彙集
樣本在決策邊界彙集平滑了因爲樣本空間上擾動帶來的在特徵空間上的突變，可是同時也增長了低置信度的誤分類
這是CIFAR10數據集在ResNet-56上訓練後的結果，橫向座標表明着層深，縱向座標表明着該層傳輸矩陣展開成線性變換以後對應的奇異值的方差值的大小。其中legend表明着對抗魯棒性的強度，縱向對比來看，綠色點表明對抗魯棒性更強的模型權重矩陣奇異值方差在絕大多數層下要比同層的對抗魯棒性較弱的紅色點的方差值小。這致使了通過激活函數後的輸出的範數的方差減小，換句話說就是輸入空間的擾動傳遞到特徵空間的擾動變小。
而激活層輸出的範數的方差減小表示的是神經網絡中每一層的輸出都更加的集中。上圖是測試集的結果，橫座標表示margin的大小，縱座標表示歸一化以後的機率。能夠看到，測試集的margin分佈結果代表，隨着對抗魯棒性的增長，樣本更加的集中於決策邊界的附近。這會致使前面的兩個結論：（1）對抗魯棒性的加強，會致使正常樣本的準確度降低；（2）測試樣本的損失在減小，測試樣本和訓練樣本之間的loss gap也在縮小。
上圖表示的是模型在訓練集上的表現，一樣表現出，隨着對抗魯棒性的加強，其分類置信度也在降低。可是相比於測試集，訓練集的結果並不存在大規模的誤判行爲，即模型能夠overfit到對應的訓練集中。這種對於分類正確以及分類錯誤的樣本置信度均下降的行爲，映射到surrogate loss上，好比cross entropy loss上，一方面是對於分類正確的樣本loss更大了，另外一方面是對於分類錯誤的樣本loss更小了。而在這裏，overfitting致使本來就不存在大量分錯的樣本，所以對於訓練集來講，loss變高的效果會比下降的效果更明顯，而測試集則恰好相反。所以，對比測試集結果，能夠看到訓練集的loss要比測試集的loss增加快，這也是致使loss gap變小的緣由。
上述的狀況是在模型容納性較大的狀況下的結果，那麼若是模型的容納性不足又會怎樣？分享者展現了經過限制模型的譜範數進而限制模型的容納性，模型容納性以Uncontrolled爲最大，以1爲最小。隨着模型容納性下降，Error Gap從上升轉而降低，Loss Gap則一直保持着降低的態勢，這說明當網絡沒有辦法overfit到訓練樣本時，即training error開始變大時，模型的error gap以及loss gap開始趨向於表現出同樣的性質。
從新回到這張圖，根據上面的一系列分享，能夠得出一個結論：樣本集中於在決策邊界上使得對抗擾動形成的突變被平滑了，可是同時也增長了低置信度的預測，甚至是誤判。
這項工做的意義在於：對抗魯棒性使得樣本集中於決策邊界附近，這代表爲了下降對抗擾動的影響，模型犧牲了其區分類間差別的能力；換言之，對抗訓練確實是一種有效的正則化手段，但它是經過不恰當地縮減神經網絡假設空間來實現的。那麼如何去消除這種不恰當的縮減就是接下來的研究方向。
嘉賓問答：
對抗防護, 用拓撲學分析，有什麼比較好的一些研究思路呢?
從邏輯上面，對抗噪聲實際上是經過模型的一層層權重矩陣放大而致使在特徵空間的擾動的，在這種狀況下，能夠考慮追蹤對抗噪聲被放大神經元，其實這些神經元本質上特徵空間裏面的一些region，而後這些region會組成一個特徵空間，這個特徵空間的變換可能會跟你提到的拓撲學有關係，好比說咱們要求其具備某些特定的拓撲性質等等。
不少人說正則化就是適應噪聲的一種防護方法，如何理解？
正則化個人理解更可能是一種先驗，就是你要求模型具備怎樣的性質，這種性質剛好能夠防護對抗樣本，好比說要求Lipchitz properties等等，可是其實Lipchitz properties也是一個很鬆的約束。
李普希茨約束好像決定了神經網絡的收斂界限？或者說是跟學習的泛化性能界限有關，我也是最近看到ECCV-20那篇關於Gradient Centralization的文章提到這個概念。
若是你指的是generalization gap的話那Lipchitz properties對它確實會有影響，不過我說的更多的是它對adversarial robustness的影響，好比說Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks那篇論文。
從修改神經網絡結構自己來抵禦對抗樣本是怎麼樣的呢?
好比說Hinton他們提出的capsule networks，他們claim的其中一個優點就是能夠避免對抗樣本，由於這種模型一些特有的機制。
整理：閆昊
審稿：溫宇馨
排版：田雨晴
本週直播預告：
AI Time是清華大學計算機系一羣關注人工智能發展，並有思想情懷的青年學者們創辦的圈子,旨在發揚科學思辨精神，邀請各界人士對人工智能理論、算法、場景、應用的本質問題進行探索，增強思想碰撞，打造一個知識分享的彙集地。
更多資訊請掃碼關注
（點擊「閱讀原文」下載本次報告ppt）
（直播回放：https://b23.tv/VaEnjh）
本文分享自微信公衆號 - AI TIME 論道（lundaoAI）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。