Dynamic Filter Networks

傳統的卷積網絡, filter在訓練後通常是恆定不變的, 相反, 這篇中引入了動態filter網絡的概念, 根據輸入條件動態的產生filer, 使得filter具備了自適應的能力,

包括兩個部分:濾波器產生網絡和 動態濾波層 這兩個部分的輸入能夠相等或者不相等

 

 

 其中須要指出的包括兩個部分:

1. 模型參數(model parameters): 模型參數表示只在訓練過程當中被更新,在預先被初始化的層參數, 對於全部的樣本都是相同的,

2. 動態產生參數(dynamically generated parameters) :是由樣本所決定的, 是動態生成的，不須要初始化. filter-generating 網絡輸出動態產生參數

, 同時該網絡仍是有一部分的模型參數.

Filter-Generating Network

filter-generating 網絡的輸入是$I_{A} \in \mathbb{R}^{h \times w \times c_{A}}$,  輸出參數$\Theta \in \mathbb{R}^{s \times s \times c_{B} \times n \times d}$ 其中 s是filter的大小, $C_{B]$是輸入B的通道數. n 是filter的個數, 動態卷積d = 1，動態局部濾波d = h*w.

這個濾波器被應用於輸入$I_{B} \in \mathbb{R}^{h\times w \times c_{B}}$ 產生輸出 $G= F_{\theta}(I_{B})$, 其中

$G \in  \mathbb{R}^{h\times w \times n}$

} $, 過濾器大小s決定接受域，根據應用選擇合適的s, 感知域的大小可以經過堆疊多個動態filter 模塊進行增長:

$G(i,j) = F_{\theta}(I_{B}(i,j))$

 

 如圖所示爲動態卷積的過程,