論文解讀丨空洞卷積框架搜索

摘要：在通用目標檢測算法，空洞卷積能有效地提高網絡的感覺野，進而提高算法的性能。本次解讀的文章提出了一種空洞卷積變體及對應的空洞卷積搜索方法，充分探索空洞卷積的潛力，進一步提高網絡模型的性能。

本文分享自華爲雲社區《論文解讀系列十：空洞卷積框架搜索》，原文做者：我想靜靜 。

空洞卷積是標準卷積神經網絡算子的一種變體，能夠控制有效的感覺野並處理對象的大尺度方差，而無需引入額外的計算。可是，在文獻中不多討論針對不一樣的數據，如何設計調整空洞卷積使其獲得更好的感覺野，進而提高模型性能。爲了充分挖掘其潛力，本文提出了一種新的空洞卷積變體，即inception (dilated)卷積，其中卷積在不一樣軸，通道和層之間具備獨立的空洞。

同時，本文提出了一種基於統計優化的簡單而高效的空洞搜索算法（EDO，effective dilation search），自適應搜索對訓練數據友好的空洞卷積配置方法。該搜索方法以零成本方式運行，該方法極其快速地應用於大規模數據集。

方法

在不一樣任務中對於輸入圖像的大小和目標對象的不一樣，有效感覺野（effictive reveptive field，ERF）的要求也有所不一樣。圖像分類輸入的尺寸比較小，目標檢測中輸入的size而比較大，目標的範圍也很大。即便對於固定網絡的同一任務，某一層卷積的最優解ERF也和標註卷積不必定同樣，因而爲了適應不一樣ERF的要求，須要針對不一樣任務提供一種通用的ERF算法。

本文提出一種膨脹卷積的變體，Inception卷積，他包含多種膨脹模式以下圖：

Incetption 卷積提供了一個密集可能的ERF範圍，該文提供了一種高效的膨脹優化算法（EOD），其中超網絡的每層都是一個標準的卷積操做，該卷積包含了全部可能的膨脹模式。對每一層的選擇，經過最小化原始卷積層和與所選膨脹模式的卷積的指望偏差，使用一個預訓練的權值解決選擇問題。具體流程以下圖所示：

上圖爲EDO的算法概述，以resnet50爲例，咱們先在訓練數據上訓練得到一個bottleneck卷積內核爲(2dmax + 1) × (2dmax + 1)的res50。這個例子裏，supernet的內核爲5*5，因此dmax=2。而後對於卷積運算的每一個filter的輸出，咱們要計算與預期輸出的L1偏差，選擇最小的（這個例子裏是E=3）。最後從新安排filter使相同的空洞卷積排在一塊兒，就成爲了咱們的inception convolution。

實驗結果

實證結果代表，本文方法在普遍的Baseline測試中得到了一致的性能提高。例如，經過簡單地將ResNet-50主幹中的3x3標準卷積替換爲Inception Conv，將Faster-RCNN在MS-COCO上的mAP從36.4％提升到39.2％。此外，在ResNet-101骨幹網中使用相同的替代方法，在自下而上的人體姿式估計上將AP得分從COCO val2017的AP得分從60.2％大幅提升到68.5％。

點擊關注，第一時間瞭解華爲雲新鮮技術~