《論文翻譯》Xception

目錄

• 深度可分離網絡-Xception
  • 註釋
  • 1. 摘要
  • 2. 介紹
  • 3. Inception假設
  • 4. 卷積和分離卷積之間的聯繫
  • 4. 先驗工做
  • 5. Xception 架構
  • 6. 我的理解
  • 單詞彙總

深度可分離網絡-Xception

註釋

• 本系列《論文翻譯》僅表明我的觀點
• 目的提升英文閱讀能力
• 錯誤之處較多，歡迎讀者修正，在此感謝

1. 摘要

  咱們提出了一種關於inception的解釋，其介於正常卷積網絡和深度可分離卷積之間（先進行分離卷積而後進行點卷積）。就此而論，深度可分離卷積能夠被視爲inception最大質量的跨越。這項工做受到Inception的啓發，將會成爲一個新網絡架構的基準，同時Inception的卷積網絡也將被替代。咱們將此網絡命名爲Xception，在ImageNet數據集上略微強於Inception V3，當在大數據集上明顯的超過Inception V3。當Xception和Inception V3具備相同的參數，表現能力不會提升，可是效率會提高。

翻譯太爛，本身都沒看懂

2. 介紹

  今年來卷積神經網絡做爲計算機視覺的主要算法，同時開發設計他們的結構做爲主要注意點。卷積神經網絡的設計能夠追溯到LeNet模型，進行簡單的卷積堆疊提取特徵和經過max-pooling對空間進行降採樣。2012年，這種思想結構被提煉到AlexNet網絡中，使用大量的max-pooling結構，對網絡的每一層進行提取，得到大量的特徵。因爲ImageNet競賽的驅動，隨之而來的是網絡愈來愈深的趨勢。最著名的就是VGG網絡等

  此時出現一種Inception新的架構，在2014年被髮明稱之爲GoogLeNet，以後陸續提高精確的升級到了V二、V3等版本。自從Inception架構的提出，其成爲在ImageNet等數據集上最好的網絡系列之一。

  Inception系列是由Inception的基礎模塊構成，其中包括幾個版本。以下圖一所示爲標準形式，同時也出如今Inception V3之中。這與早期的VGG網絡有所不一樣，他是由漸漸的卷積網絡堆疊而成。

  然而Inception的結構和基本卷積相似（卷積特徵提取結構），從經驗上來看，此結構能夠經過不多的參數得到大量的特徵。他們如何工做，和傳統卷積有何區別？

3. Inception假設

  一個卷積層能夠學習三維空間的濾波器權重，經過一個二維空間尺寸（長和寬）+一個通道空間。所以，一個單卷積核的任務能夠同時映射跨通道的相關性和空間的相關性。

  Inception模型的背後想法是使過程更簡單、更高效的分解一系列獨立的誇通道相關性和誇空間相關性操做。更精確的說，典型的Inception結構首先經過1×1的卷積研究誇通道的相關性，映射輸入數據到3-4個相互獨立的空間，和輸入相似，以後經過規則的3×3或5×5卷積將全部相關性映射進3D空間之中。事實上，Inception模塊的假設是跨通道的相關性和空間相關性相關分離，而不是傾向於將他們聯合。

  考慮一個簡化版本的Inception模塊，僅使用一種大小的卷積同時不包括pooling跳躍層。Inception模塊能夠被從新描述成一個大的1×1卷積+空間卷積，操做於輸出通道沒有重疊的段落。這個表達天然的出現如下幾個問題：這個假設比以前的Inception的假設更合理嗎？跨通道相關性和空間相關性能夠徹底分離嗎？

4. 卷積和分離卷積之間的聯繫

  Inception模塊是一個極其偉大的創做，其基於一個很強的假設，第一次使用1×1卷積去映射不一樣的通道，同時分離映射空間聯繫在每個輸出通道上。具體詳見圖4所示。咱們注意到這個很強的模塊和深度可分離卷積基本一致，模塊被使用再2014年的網絡中，自從被包含在TF框架之中就更受歡迎了。

  一個深度可分離卷積，在深度學習框架中一般被稱爲可分離卷積，其實有深度卷積組成，空間卷積相互獨立的執行，隨後是點卷積操做，經過深度卷積將輸出映射到一個新的通道空間。這也是和空間卷積相區別，因此在圖像處理領域一般稱爲深度可分離卷積。

  Inception模塊和深度可分離卷積模塊有兩個很小的區別：

• 操做順序不一樣：深度可分離卷積一般是先進行空間卷積以後再進行1×1卷積，而Inception則相反。
• 是否純在非線性鏈接。在Inception中，兩個操做以後都要進行非線性的RELU操做，然而Xception一般沒有非線性鏈接。

  咱們認爲第一個區別不是很是重要，尤爲是由於這些操做被應用於一些堆疊操做。第二個區別很是重要，咱們再實驗部分進行了研究（詳細見圖10）

  咱們注意到一些Inception的中間概述，位於標準Inception模塊和深度可分離卷積之間。事實上，在正常卷積和可分離卷積之間存在一個可分離的範圍，一些獨立通道的分割進行參數化，用於執行空間卷積。正常卷積（1×1卷積）在一個極端的範圍，用於聯繫單個段落的狀況。可分離卷積做用於其餘極端狀況，每一個通道的段落。Inception模塊位於之間，分割幾百個通道到3-4個段落。這些中間的屬性彷佛還未被探索。

  在進行這個討論以後，咱們建議使用深度可分離卷積替代Inception模塊，經過堆疊可分離卷積模塊的性能將在原始網絡之上。經過TF中的可分離卷積工具進行實現。在下文中，咱們提出一個基於以上探索的卷積網絡架構，和Inception V3參數數量相等，同時在兩個大型圖像分類任務上進行對比表現。

4. 先驗工做

  當前的工做很大程度上依賴先前的努力：

就是一些以前的網絡架構，VGG、Inception-V1-V2-V三、ResNet等

5. Xception 架構

網絡基礎架構在圖4所示，後面基本都是一些分析和前面說的同樣。

做者所用網絡以下圖5所示，和Inception V3參數相同

6. 我的理解

  本文其實就兩個觀點，第一個是爲何Inception有做用。第二個是咱們更進一步放大第一個問題。如下根據我的理解說明這兩個問題。

• 針對第一個問題爲何Inception有做用

說明	正常網絡	Inception
輸入	100×100×50	100×100×50
卷積	50×3×3×25	（block1）+（block2）+（block3）
參數	nums	nums
輸出	100×100×25	100×100×25

正常卷積所使用的的卷積大小徹底相同==>看到的特徵大小（尺度）基本相似（相同）

Inception使用的卷積核不一樣==>看到的特徵大小（尺度）基本有差別（不相同）

正常卷積所有通道都使用，不存在誇空間問題（卷積只是考慮空間聯繫，未跨空間）

Inception使用一張圖三個/四個不一樣的卷積處理，最後進行疊加，已經進行了跨空間。

• 針對第二個問題優勢繼續放大

文中對兩個優勢進行討論：

1. 跨通道問題（文中已經說明這個優勢對結果不明顯，詳細見原文1.2節）

2. 在跨統計以後不接非線性RELU（文中說相當重要，詳細見原文1.2節）

我的認爲直接鏈接RELU破壞了跨空間之間的聯繫點，須要再進行卷積操做以後方可鏈接RELU。

第一個問題確定是有做用的，只不過鏈接的太多可能做用不明顯。

單詞彙總

• intermediate：中介

• inspired by： 由。。。。啓發（受到。。。鼓舞）

• outperform：超過

• emerged：出現，暴露

• sub-sampling：次採樣（下采樣==upSampling）

• what follow was：隨之而來

• At this point：此時

• canonical：標準

• This is a departure from：與。。。。不一樣

• conceptually：概念（concept）

• come afte：緊隨

• This idea behind：背後的想法

• decouple：解耦合（couple夫婦）

• reformulate：再敘述（formulate敘述）

• segment：分割、段落、分段

• cornerstone：基石、基礎

• continuum：鏈接（continue）

• identical：統一

• inclusion：包含（include）

• perform independently：獨立執行

• projecting：突出

• minor：微小

• implement：執行

• whereas：然而

• presence：存在（present）

• absence：缺陷、缺乏（absent）

• investigate：調查、研究

• spectrum：範圍、光譜

• in what follows：在下文

• present：當前、提出