論文閱讀筆記五十九:Res2Net: A New Multi-scale Backbone Architecture（CVPR2019）

 

論文原址：https://arxiv.org/abs/1904.01169

摘要

       視覺任務中多尺寸的特徵表示十分重要，做爲backbone的CNN的對尺寸表徵能力越強，性能提高越大。目前，大多數多尺寸的表示方法是layer-wise的。本文提出的Res2Net經過在單一殘差塊中對殘差鏈接進行分級，進而能夠達到細粒度層級的多尺度表徵，同時，提升了網絡每層的感覺野大小。該Res2Net結構能夠嵌入到其餘網絡模型中。

介紹

       在天然場景中，視覺模式常常表現多尺寸特徵。以下圖所示，(1)一張圖片中可能會存在不一樣尺寸的物體。好比，沙發及被子的大小是不一樣的。（2）一個物體自身的上下文信息可能會覆蓋比自身更大範圍的區域。好比，依賴於桌子的上下文信息，進而判斷桌子上的黑色斑點是杯子仍是筆筒。（3）不一樣尺寸的感知信息對於像細粒度分類及分割等對於理解目標物局部信息的任務十分重要。

 

       爲了得到多尺寸表示能力，要求特徵提取能夠以較大範圍的感覺野來描述不一樣尺寸的 object/part/context。CNN經過簡單的堆疊卷積操做獲得coarse-to-fine的多尺寸特徵。早期的工做像VGG,Alex經過簡單的堆積卷積讓多尺寸信息成爲了可能。後來，經過組合不一樣大小的卷積核來得到多尺寸信息，好比Inception系列。做爲backbone的CNN表現更高效，多尺寸的表徵能力更強。

       本文提出了簡單高效的多尺寸模塊，不一樣於之前的模型提升layer-wise的多尺寸表徵能力，本文以更精細的水平提升模型的多尺寸表徵能力。爲此，本文將3x3xn的卷積核替換爲3x3xw的group filters,其中，n = w x s。以下圖所示，更小的filter group經過相似於殘差鏈接的方式進行鏈接，從而提升輸出的表示數量，首先，將輸入分紅幾部分，一組filter從對應的一組輸入feature map中提取信息。前面獲得的信息送到另外一組filter中做爲輸入。重複此操做，知道處理完全部輸入feature map。最後，每組輸出的feature map經過拼接操做送入1x1的卷積中用於進行特徵融合。此方法引入了一個新的維度scale，用於控制group的數量。scale同height,width,cardinality類似，都爲基本量，本文實驗發現，經過增長scale的數量的提高效果要比其餘量要好。

Res2Net

       上圖是backbone網絡中比較常見的結構。本文將其中的3x3的卷積核替換爲幾組小的卷積核並以殘差的方式進行鏈接，在計算力相同的條件下得到更強的多尺寸表徵信息。如上圖b所示，將輸入feature map分爲s個subset，由xi表示，,每一個subuset的寬及高相同，可是通道數爲輸入feature map的1/s。除了x1，每一個xi都有一個3x3的卷積核Ki，其輸出由yi表示。同時，子集xi與Ki-1的輸出相加並做爲Ki的輸入。爲了忽略參數量，並提升s，x1中並不存在3x3的卷積核，所以，yi的表達式以下

       值得注意的是，每一個3x3的卷積核能夠接受來自該層前面的全部分離的特徵，每次分類特徵通過3x3的卷積處理後，其輸出的感覺野要比輸入更大，因爲不一樣的組合方式，Res2Net的輸出包含不一樣大小及數量的感覺野。在Res2Net中，Split以多尺寸的方式進行處理，有利於提取全局及局部特徵。爲了融合不一樣尺寸的信息，將輸出送入到1x1的卷積中。分離拼接操做能夠加強卷積的處理能力。爲了減小參數量，忽略了第一個group的卷積，這也能夠看做是feature map的再利用。

       本文使用一個s做爲控制尺寸維度的參數量。s越大，多尺寸表徵能力更強，經過引入拼接操做，並未增長計算及內存消耗。以下圖所示，Res2Net能夠很方便的與現代模型進行結合。

       

實驗

 

Reference

       [1] S. Belongie, J. Malik, and J. Puzicha. Shape matching and object recognition using shape contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(4):509–522, 2002.

       [2] A. Borji, M.-M. Cheng, H. Jiang, and J. Li. Salient object detection: A benchmark. IEEE Transactions on Image Processing, 24(12):5706–5722, 2015.       [3] L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille.Deeplab: Semantic image segmentation with deep convolutional nets,atrous convolution, and fully connected crfs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4):834–848, 2018.