Selective Kernel Network

senet: https://arxiv.org/abs/1709.01507 sknet: http://arxiv.org/abs/1903.06586

TL, DR

Selective Kernel Networks 啓發自皮質神經元根據不一樣的刺激可動態調節其自身的receptive field, 從而在CNN每個 stage, 增長不一樣尺寸 filter 分支。 整體網絡結構和 SENet 類似(幾乎一致), 相對於大網絡, 對小網絡的性能提高比較明顯.

SENet

abstract

卷積神經網絡創建在一系列卷積操做之上, 經過層疊卷積操做, 能夠逐漸增大感覺野. 卷積操做能夠複用空間和通道信息, 但卻限制在一個局部感覺野上. 爲了促進網絡的特徵表示能力, 一些工做經過增強空間編碼從而提高了網絡性能, 如 Inception. SENet 關注點在通道關係上, 提出的 SE-Block, 經過整合通道全局感覺野信息, embedding 通道之間的重要性關係, 關注有用特徵, 抑制無用特徵.

SE-Block 使用 Global Average Pooling 處理該層 feature map獲得一個 channel descriptor, 該 descriptor 包含每一個通道特徵強度(feature response)信息, 從而使得 CNN 的 底部的 layer能夠利用到全局感覺野的信息.

network arch





sigmoid 函數

$$ \begin{align*} \sigma(x) &= \frac{1}{1+e^{-x}} \ \end{align*} $$

邏輯斯諦迴歸函數

$$ \begin{align*} P(Y=1|x) &= \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\ &= \frac{1}{1+e^{-w \cdot x}}\ &=\sigma (w \cdot x)\ P(Y=0|x) &= \frac{1}{1+e^{w \cdot x}} \ &=1 - \sigma (w \cdot x)\ \end{align*} $$

Excitation操做爲了利用 Squeeze 操做中的聚合的信息, 從而獲取不一樣 channel 之間的依賴性. gating 函數必須知足兩個條件

1. 首先，它必須是靈活的（特別是，它必須可以學習通道之間的非線性關係），
2. 其次，它必須學習非互斥關係.

爲了知足這些標準，Excitation 選擇使用 sigmoid 函數執行 gating mechanism.

SE-Inception Block



添加 SE Block 的網絡的計算量大約提升1%, 參數量提升2%

experiment result



SKNet



與 SENet 相比, 就是每一個 stage 增長了不一樣的尺寸大小的 filter的分支, 在作 gating 的時候, sigmoid 函數使用下面函數代替, 用於對不一樣尺寸的 filter 給予權重, 從而達到可適應調節感覺野的做用.



experiment result

在大網絡結果



在小網絡上結果



整體而言, 在小網絡上提點比較明顯