一幅圖像能頂16x16字！——用於大規模圖像縮放識別的變壓器(對ICLR 2021年論文的簡要回顧)

做者|Stan Kriventsov
編譯|Flin
來源|medium

在這篇博文中，我想在不做太多技術細節的狀況下，解釋其做者提交給2021 ICLR會議的新論文「一張圖等於16x16個字：用於大規模圖像識別的變壓器」的意義（目前爲止匿名）。

另外一篇文章中，我提供了一個示例，該示例將這種新模型（稱爲Vision Transformer，視覺變壓器）與PyTorch一塊兒用於對標準MNIST數據集進行預測。

自1960年以來深度學習（機器學習利用神經網絡有不止一個隱藏層）已經問世，但促使深度學習真正來到了前列的，是2012年的時候AlexNet，一個卷積網絡（簡單來講，一個網絡，首先查找小的圖案在圖像的每一個部分，而後嘗試將它們組合成一張總體圖片），由Alex Krizhevsky設計，贏得了年度ImageNet圖像分類競賽的冠軍。

• AlexNet：https://en.wikipedia.org/wiki/AlexNet

• ImageNet圖像分類競賽：https://en.wikipedia.org/wiki/ImageNet

在接下來的幾年裏，深度計算機視覺技術經歷了一場真正的革命，每一年都會出現新的卷積體系結構（GoogleNet、ResNet、DenseNet、EfficientNet等），以在ImageNet和其餘基準數據集（如CIFAR-十、CIFAR-100）上創下新的精度記錄。

下圖顯示了自2011年以來ImageNet數據集上機器學習模型的最高精度（第一次嘗試時正確預測圖像所含內容的準確性）的進展狀況。

然而，在過去的幾年裏，深度學習最有趣的發展不是在圖像領域，而是在天然語言處理（NLP）中，這是由Ashish Vaswani等人在2017年的論文「注意力是你須要的一切」中首次提出的。

• 論文地址：https://arxiv.org/abs/1706.03762

注意力的思想，指的是可訓練的權重，模擬輸入句子不一樣部分之間的每一個鏈接的重要性，對NLP的影響相似於計算機視覺中的卷積網絡，極大地提升了機器學習模型對各類語言任務（如天然語言理解）的效果還有機器翻譯的效果。

注意力之因此對語言數據特別有效，是由於理解人類語言一般須要跟蹤長期依賴關係。咱們可能會先說「咱們到達了紐約」，而後說「城市的天氣很好」。對於任何人類讀者來講，應該很清楚，最後一句話中的「城市」指的是「紐約」，但對於一個只基於在附近數據（如卷積網絡）中找到模式的模型，這種聯繫可能沒法檢測。

長期依賴性的問題能夠經過使用遞歸網絡來解決，例如LSTMs，在變壓器到來以前，LSTMs其實是NLP中的頂級模型，但即便是那些模型，也很難匹配特定的單詞。

變壓器中的全局注意力模型衡量了文本中任意兩個單詞之間每個鏈接的重要性，這解釋了它們性能的優越之處。對於注意力不那麼重要的序列數據類型（例如，日銷售額或股票價格等時域數據），遞歸網絡仍然具備很強的競爭力，可能還是最佳選擇。

雖然在NLP等序列模型中，遠距離對象之間的依賴關係可能具備特殊的意義，但在圖像任務中，它們確定不能被忽略。要造成一幅完整的圖畫，一般須要瞭解圖像的各個部分。

到目前爲止，注意力模型在計算機視覺中一直表現不佳的緣由在於縮放它們的難度（它們的縮放比例爲N²，所以1000x1000圖像的像素之間的全套注意力權重將具備一百萬項）。

也許更重要的是，事實上，與文本中的單詞相反，圖片中的各個像素自己並非頗有意義，所以經過注意力將它們鏈接起來並無太大做用。

這篇新論文提出了一種方法，即不關注像素點，而是關注圖像的小塊區域（多是標題中的16x16，儘管最佳塊尺寸實際上取決於模型的圖像尺寸和內容）。

上面的圖片（摘自論文）顯示了視覺變壓器的工做方式。

經過使用線性投影矩陣將輸入圖像中的每一個色塊展平，並向其添加位置嵌入（學習的數值，其中包含有關該色塊最初在圖像中的位置的信息）。這是必需的，由於變壓器會處理全部輸入，而不考慮其順序，所以擁有此位置信息有助於模型正確評估注意力權重。額外的類標記鏈接到輸入（圖像中的位置0），做爲要在分類任務中預測的類的佔位符。

相似於2017版，該變壓器編碼器由多個注意力，規範化和徹底鏈接的層組成，這些層具備殘差（跳過）鏈接，如圖中的右半部分所示。

在每一個關注區域中，多個頭部能夠捕獲不一樣的鏈接模式。若是你有興趣瞭解有關變壓器的更多信息，我建議閱讀Jay Alammar撰寫的這篇出色的文章。

• http://jalammar.github.io/illustrated-transformer/

輸出端徹底鏈接的MLP頭可提供所需的類別預測。固然，與當今同樣，主模型能夠在大型圖像數據集上進行預訓練，而後能夠經過標準的遷移學習方法將最終的MLP頭微調爲特定任務。

新模型的一個特色是，儘管根據本文的研究，它比卷積方法更有效地以更少的計算量得到相同的預測精度，但隨着它接受愈來愈多的數據訓練，其性能彷佛在不斷提升，這比其餘模型更甚。

這篇文章的做者在一個包含3億的私有googlejft-300M數據集上訓練了視覺變換器圖像，從而在許多基準測試中都得到了最早進的準確性。人們能夠期待這個預先訓練過的模型很快就會發布出來，以便咱們均可以試用。

• 數據集：https://arxiv.org/abs/1707.02968

看到神經注意力在計算機視覺領域的新應用，實在太使人興奮了！但願在將來的幾年裏，在這種發展的基礎上，能取得更大的進步！

原文連接：https://medium.com/swlh/an-image-is-worth-16x16-words-transformers-for-image-recognition-at-scale-brief-review-of-the-8770a636c6a8

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/